CN113724262B - 视网膜oct图像中的脉络膜新生血管cnv分割方法 - Google Patents

视网膜oct图像中的脉络膜新生血管cnv分割方法 Download PDF

Info

Publication number
CN113724262B
CN113724262B CN202110923753.XA CN202110923753A CN113724262B CN 113724262 B CN113724262 B CN 113724262B CN 202110923753 A CN202110923753 A CN 202110923753A CN 113724262 B CN113724262 B CN 113724262B
Authority
CN
China
Prior art keywords
module
decoder
output
coder
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110923753.XA
Other languages
English (en)
Other versions
CN113724262A (zh
Inventor
孟庆权
卢雪梅
汪恋雨
王婷婷
王猛
向德辉
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110923753.XA priority Critical patent/CN113724262B/zh
Publication of CN113724262A publication Critical patent/CN113724262A/zh
Application granted granted Critical
Publication of CN113724262B publication Critical patent/CN113724262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视网膜OCT图像中的脉络膜新生血管CNV分割方法，包括：将视网膜OCT图像输入至多尺度信息融合网络，通过多尺度信息融合网络对视网膜OCT图像进行分割；多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，编解码器网络包括编码器和解码器，编码器用于提取视网膜OCT图像中的语义信息和全局特征，MAD设置在编码器的顶部用于聚合上下文信息，SDA连接编码器和解码器，用于融合多层次的语义信息，解码器用于恢复空间分辨率。基于伪标记数据增强策略的SemiMF‑Net半监督网络结构，利用未标记数据进一步提高CNV分割精度，解决现有技术中对脉络膜新生血管CNV分割时内部结构信息会丢失的问题，达到了提高CNV分割精度的效果。

Description

视网膜OCT图像中的脉络膜新生血管CNV分割方法
技术领域
本发明涉及视网膜光学相干层析成像中的脉络膜新生血管图像分割方法，属于图像处理技术领域。
背景技术
脉络膜新生血管(choroidal neovascularization，CNV)，又称视网膜下新生血管，是年龄相关性黄斑变性、中央渗出性脉络膜视网膜病变、特发性脉络膜新生血管、病理性近视黄斑变性、眼组织胞浆病综合征等多种眼内疾病的一种基本病理改变。它常累及黄斑，对中央视力造成严重损害。在CNV的早期，通常没有异常症状，而随着新生血管渗漏、破裂的逐渐扩大，可引起视力丧失、视觉扭曲或中央暗点，CNV可以持续数月或数年，然后逐渐稳定。症状反复出现的患者黄斑受损严重，可导致永久性视力障碍。
光学相干层析成像(optical coherence tomography,OCT)是Huang等人提出的一种无创成像技术，可以捕捉高分辨率的视网膜横截面结构，在视网膜疾病的诊断和监测中具有重要作用。此外，荧光血管造影(fluorescence angiography,FA)和吲哚氰绿血管造影(indocyanine green angiography,ICGA)在临床上也是检测视网膜疾病的重要诊断工具，基于FA和ICGA分析CNV的工作较多。然而，FA和ICGA只能捕捉到一张眼底图像，这可能会导致CNV内部结构信息的丢失。此外，FA和ICGA具有侵袭性，静脉注射造影剂可引起恶心等过敏反应。相反，OCT是无创的，可以高速获得高分辨率的视网膜横截面图像。因此，OCT图像中CNV的准确分割对于眼科医生分析患者病情、制定治疗方案至关重要。
发明内容
本发明的目的在于提供一种视网膜OCT图像中的脉络膜新生血管CNV分割方法，用于解决现有技术中存在的分割难度大及精度不够高等问题。
为达到上述目的，本发明提供如下技术方案：
根据第一方面，本发明实施例提供了一种视网膜OCT图像中的脉络膜新生血管CNV分割方法，所述方法包括：
将视网膜OCT图像输入至多尺度信息融合网络MF-Net，通过所述多尺度信息融合网络对所述视网膜OCT图像进行分割；所述多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，所述编解码器网络包括编码器和解码器，所述编码器用于提取所述视网膜OCT图像中的语义信息和全局特征，所述MAD设置在所述编码器的顶部用于聚合上下文信息，所述SDA连接所述编码器和所述解码器，用于融合多层次的语义信息，所述解码器用于恢复空间分辨率，基于伪标记数据增强策略的SemiMF-Net半监督网络结构，利用未标记数据进一步提高脉络膜新生血管CNV分割精度。解决了现有技术中对脉络膜新生血管脉络膜新生血管CNV分割时内部结构信息会丢失的问题，达到了提高脉络膜新生血管CNV分割精度的效果。。
可选的，所述MAD包括：并行可变形卷积模块、多重全局空间注意力模块、多重全局通道注意力模块和自适应残差模块；
所述并行可变形卷积模块，用于提取对所述编码器的输出进行特征提取，得到特征映射，并将所述特征映射输出至所述全局空间注意力模块、所述全局通道注意力模块和所述自适应残差模块；
所述多重全局空间注意力模块，用于对所述并行可变形卷积模块输出的特征映射进行处理，得到注意力特征映射，将所述注意力特征映射输出至所述自适应残差模块；
所述多重全局通道注意力模块，用于对所述并行可变形卷积模块输出的特征映射进行处理，得到通道特征映射，并将所述通道特征映射输入至所述自适应残差模块；
所述自适应残差模块，用于对所述并行可变形卷积模块、所述多重全局空间注意力模块和所述多重全局通道注意力模块的输出结果进行残差处理。
可选的，所述并行可变形卷积模块，用于接收所述编码器的输出，并将所述编码器的输出并行输入至多个卷积层中，通过卷积层对信道压缩并提取全局上下文信息，将输出的特征图连接并输入至可变形卷积，所述可变形卷积将连接的特征映射分别输入至所述全局空间注意力模块、所述全局通道注意力模块和所述自适应残差模块。
可选的，所述多重全局空间注意力模块包括最大池化和平均池化；
所述多重全局空间注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入至所述最大池化和所述平均池化，通过所述最大池化和所述平均池化得到注意力特征映射，将所述注意力特征映射输入至所述自适应残差模块。
可选的，所述多重全局通道注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入两个平行分支，得到全局通道最大值映射和全局通道均值映射，根据所述全局通道最大值映射和所述全局通道均值映射确定通道特征映射，并将所述通道特征映射输入至所述自适应残差模块。
可选的，所述自适应残差模块，用于将所述并行可变形卷积模块输出的特征映射分别乘以所述多重全局空间注意力模块输出的注意力特征映射和所述多重全局通道注意力模块输出的通道特征映射，根据相乘结果确定最终输出，并将输出结果输出值所述解码器。
可选的，所述SDA用于提取用于分割的语义信息和详细信息，对提取到的语义信息和详细信息进行融合，并将融合结果输出至最外层解码器。
可选的，每个SDA的输出为：
其中Sk为第k个SDA模块的输出，Conv表示卷积，@2为速率为2的上采样操作，Ek表示第k个编器的输出特征映射，Dk表示第k个解码器的输出特征映射，F1和F2分别表示解码器3和SDA 1的输出特征映射。与/>分别表示矩阵对应元素相乘与矩阵对应元素相加。
将视网膜OCT图像输入至多尺度信息融合网络，通过所述多尺度信息融合网络对所述视网膜OCT图像进行分割；所述多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，所述编解码器网络包括编码器和解码器，所述编码器用于提取所述视网膜OCT图像中的语义信息和全局特征，所述MAD设置在所述编码器的顶部用于聚合上下文信息，所述SDA连接所述编码器和所述解码器，用于融合多层次的语义信息，所述解码器用于恢复空间分辨率。解决了现有技术中对脉络膜新生血管CNV分割时内部结构信息会丢失的问题，达到了可以提高脉络膜新生血管CNV的分割精度的效果。
在新提出的MF-Net的基础上，结合伪标签增强策略，进一步提出了一种SemiMF-Net半监督网络结构，利用未标记数据进一步提高脉络膜新生血管CNV分割精度。所提出的半监督网络结构如图5所示。
提出的SemiMF-Net半监督网络结构主要包括三个步骤:1)利用带标签数据对MF-Net进行预训练，对未带标签的数据进行分割，将这些分割结果作为未带标签数据的伪标签；2)将带有伪标签的未标注数据与标注数据混合，基于目标函数L′Pseudo+LReal进行半监督的MF-Net训练；3)最后，得到了能够准确分割视网膜OCT图像中脉络膜新生血管CNV的SemiMF-Net算法。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的视网膜OCT图像中的脉络膜新生血管CNV分割方法的方法流程图；
图2为本发明一个实施例提供的多尺度信息融合网络的网络结构示意图；
图3为本发明一个实施例提供的MAD的网络结构示意图；
图4为本发明一个实施例提供的SDA的网络结构示意图；
图5为本发明一个实施例提供的SemiMF-Net的网络结构示意图；
图6为本发明一个实施例提供的不同方法的脉络膜新生血管CNV的分割结果图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
请参考图1，其示出了本申请一个实施例提供的视网膜OCT图像中的脉络膜新生血管CNV分割方法的方法流程图，如图1所示，所述方法包括：
S1.将视网膜OCT图像与对应的标签图像输入多尺度信息融合网络MF-Net进行训练；
S2.将训练好的多尺度信息融合网络MF-Net分割未标记视网膜OCT图像，得到未标记视网膜OCT图像的伪标签；
S3.将视网膜OCT图像与对应的标签图像、未标记视网膜OCT图像与对应的伪标签图像混合，送入S1步骤训练的多尺度信息融合网络MF-Net，继续训练得到训练好的SemiMF-Net；
S4.将S3训练好的SemiMF-Net,用于分割视网膜OCT图像。
所述多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，所述编解码器网络包括编码器和解码器，所述编码器用于提取所述视网膜OCT图像中的语义信息和全局特征，所述MAD设置在所述编码器的顶部用于聚合上下文信息，所述SDA连接所述编码器和所述解码器，用于融合多层次的语义信息，所述解码器用于恢复空间分辨率。
请参考图2，其示出了本申请一个实施例提供的基于多尺度自适应感知变形和语义细节聚合的视网膜OCT图像脉络膜新生血管CNV分割网络结构示意图。
编码器路径用于从输入的视网膜OCT图像中提取丰富的语义信息和全局特征，逐层对特征图进行向下采样，解码器路径用于从更高层次阶段对语义信息强的特征图进行向上采样，逐层恢复空间分辨率。为了最大限度地利用原始图像提供的信息，本申请直接将输出发送到解码器路径，在骨干网络框架中也删除了CE-Net中同一级别编码器和解码器之间的跳过连接。
实际实现时，请参考图3，所述MAD包括：并行可变形卷积模块、多重全局空间注意力模块、多重全局通道注意力模块和自适应残差模块；
所述并行可变形卷积模块，用于提取对所述编码器的输出进行特征提取，得到特征映射，并将所述特征映射输出至所述全局空间注意力模块、所述全局通道注意力模块和所述自适应残差模块；
所述并行可变形卷积模块，用于接收所述编码器的输出，并将所述编码器的输出并行输入至多个卷积层中，通过卷积层对信道压缩并提取全局上下文信息，将输出的特征图连接并输入至可变形卷积，所述可变形卷积将连接的特征映射分别输入至所述全局空间注意力模块、所述全局通道注意力模块和所述自适应残差模块。
假设编解码器网络中编码器有4个，解码器也相应有4个，则请参考图3，在并行可变形卷积模块中，编码器4(E4)的输出被并行地馈入四个1×1卷积层。然后，对信道进行压缩，从不同层次的特征图中提取全局上下文信息，分别进行扩张率为1、3、5、7的膨胀卷积。之后输出的特征图被拼接并送入可变形的卷积，该卷积可以通过在水平和垂直方向上附加的核大小偏移来增加模块中的空间采样位置。最后，将可变形卷积输出的特征映射B∈Rc ×h×w分别送入平行连接的多全局空间注意力模块、多全局通道注意力模块和自适应残差模块。在一种可能的实施方式中，并行可变形卷积模块为:
其中B为输出特征映射，Convdeform表示可变形卷积，表示对4个特征图进行拼接，Convdilation@2k-1表示扩张率为2k-1的膨胀卷积，Ak∈Rc×h×w为第k个并行分支1×1卷积层的输出。
所述多重全局空间注意力模块，用于对所述并行可变形卷积模块输出的特征映射进行处理，得到注意力特征映射，将所述注意力特征映射输出至所述自适应残差模块；所述多重全局空间注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入至所述最大池化和所述平均池化，通过所述最大池化和所述平均池化得到注意力特征映射，将所述注意力特征映射输入至所述自适应残差模块。
可选的，将并行卷积模块可变形卷积模块的输出特征映射B并行地反馈最大映射分支和平均映射分支，分别生成注意力映射S1∈R1×h×w和S2∈R1×h×w，并进行拼接操作。然后利用卷积运算对拼接映射的信道进行压缩。最后，采用Sigmoid函数生成最终的注意力特征映射S∈R1×h×w，如下式所示。
S＝Sigmoid(Conv(Concat(S1,S2)))
式中，S为注意力特征映射，Sigmoid为激活函数，Conv表示用卷积运算对拼接映射的信道进行压缩，Concat(S1,S2)表示对通道S1和S2进行拼接。因此，多重全局空间注意力模块可以获得之前特征图B在空间维度上的上下文信息，抑制噪声的干扰。
所述多重全局通道注意力模块，用于对所述并行可变形卷积模块输出的特征映射进行处理，得到通道特征映射，并将所述通道特征映射输入至所述自适应残差模块；
所述多重全局通道注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入两个平行分支，得到全局通道最大值映射和全局通道均值映射，根据所述全局通道最大值映射和所述全局通道均值映射确定通道特征映射，并将所述通道特征映射输入至所述自适应残差模块。
多全局通道注意力模块类似于多全局空间注意力模块。首先将特征映射B输入两个平行分支，得到全局通道最大值映射C1∈Rc×1×1和全局通道均值映射C2∈Rc×1×1。然后，将C1和C2进行拼接并通过全连接FC平滑和压缩特征映射。最后，通过Sigmoid函数得到最终的特征图C∈Rc×1×1，如下式所示。
C＝Sigmoid(FC(concat(C1,C2)))
式中，C表示最终的特征向量，Sigmoid为激活函数，concat(C1,C2)表示拼接操作，FC表示全连接层。该模块可以获取各通道特征图的响应，抑制噪声干扰。
所述自适应残差模块，用于对所述并行可变形卷积模块、所述多重全局空间注意力模块和所述多重全局通道注意力模块的输出结果进行残差处理。
所述自适应残差模块，用于将所述并行可变形卷积模块输出的特征映射分别乘以所述多重全局空间注意力模块输出的注意力特征映射和所述多重全局通道注意力模块输出的通道特征映射，根据相乘结果确定最终输出，并将输出结果输出值所述解码器。
并行可变形卷积模块B∈Rc×h×w的输出分别乘以多重全局空间注意力模块S∈R1 ×h×w的注意力特征映射和多重全局通道注意力模块C∈Rc×1×1的通道特征映射。然后使用特征图对应像素的加法运算与卷积操作层操作，如下式所示:
其中O∈Rc×h×w表示自适应残差模块的输出，B为并行可变形卷积模块的输出，表示逐像素相加，Conv表示卷积，*表示元素乘法，/>和/>分别表示按照空间位置的矩阵对应元素乘法与按照通道位置的矩阵对应元素乘法，S为多重全局空间注意力模块的输出，C为多重全局通道注意力模块的输出。λ和γ是可学习的参数，初始化为非零值。
最后，将平滑的特征映射与原始特征映射直接相加构建残差机制，并将多尺度自适应感知变形模块O∈Rc×h×w的最终输出馈入解码器路径。
所述SDA包括两个，所述两个SDA旨在提取用于分割的语义信息和详细信息，对提取到的语义信息和详细信息进行融合，并将融合结果输出至最外层解码器。
跳接是基于编解码器的网络中常用的一种结构，它可以将编解码器路径的强语义信息与编解码器路径的高分辨率特性融合在一起，进一步促进了编解码器结构的应用。但是，直接将编码器的高分辨率特征发送给解码器会引入不相干的杂波，导致错误的分割。因此，本发明提出了一种新的语义细节聚合模块(SDA)作为跳过连接的变体，以增强有助于分割和抑制无效信息的信息。
如图2所示，在编码器和解码器之间引入了两个SDA模块。所提出的SDA模块结构如图4所示。
在SDA模块中，结合编码器、解码器和上一级解码器的特征图重构跳跃连接。例如，图4的左边是SDA 1的结构。首先，上采样解码器3的输出特征图，然后是3×3卷积层，用于压缩信道。然后将得到的特征图与编码器2的输出进行逐像素相乘，过滤出有利于分割的详细信息。最后，将过滤后的特征映射和解码器2的输出逐像素相加，以融合详细信息和高级语义信息。综上所述，每个SDA模块在不同阶段可以总结为:
其中Sk为第k个SDA模块的输出，Conv表示卷积，@2为速率为2的上采样操作。Ek和Dk表示第k个编解码器的输出特征映射。F1和F2分别表示解码器3和SDA 1的输出特征映射。和/>分别表示矩阵对应元素相乘与相加。值得注意的是，在编码器3和编码器4之后，没有引入任何跳过连接，这不仅是因为在向更深层次传输时，详细的信息会逐渐减弱，也是为了节省计算资源。
图像分割可以类似于像素级分类。因此，本发明可以采用分类任务中常用的二元交叉熵损失LBCE来优化。然而LBCE仅用于优化像素级的分割性能，忽略了图像级的完整性。因此，为了解决这个问题，本发明引入了戴斯损失LReal来优化所提出的方法。最终损耗函数为:
LReal＝LDice+LBCE
LBCE＝-∑h,w(YlogX+(1-Y)log(1-X))
其中LReal表示MF-Net损失函数，LDice为戴斯损失，LBCE为二元交叉熵损失，X和Y表示分割结果和对应的金标准，h和w表示像素在X和Y中的坐标。
如图2所示，在新提出的MF-Net的基础上，结合伪标签增强策略，进一步提出了一种SemiMF-Net半监督网络结构，利用未标记数据进一步提高脉络膜新生血管CNV分割精度。所提出的半监督网络结构如图5所示。
提出的SemiMF-Net半监督网络结构主要包括三个步骤:1)利用有限的带标签数据对MF-Net进行预训练，对未带标签的数据进行分割，将这些分割结果作为未带标签数据的伪标签；2)将带有伪标签的未标注数据与标注数据混合，基于目标函数L′Pseudo+LReal进行半监督的MF-Net训练；
L′Pseudo＝L′Dice+L′BCE
L′BCE＝-∑h′w′(Y′logX′+(1-Y′)log(1-X′))
其中L′Pseudo表示SemiMF-Net损失函数，L′Dice为戴斯损失，L′BCE为二元交叉熵损失，X′表示未标记标签的分割结果，Y′表示未标记标签的伪标签，h′和w′表示像素在X′和Y′中的坐标。
最后，使用SemiMF-Net算法得到了能够准确分割视网膜OCT图像中脉络膜新生血管CNV分割结果。
在本发明的一种可能的实施例中，采用Dice相似系数(DSC)、灵敏度(SEN)和Jaccard相似系数(JSC)三个指标来评价该方法的性能。
其中TP为真阳性数，FP为假阳性数，FN为假阴性数。
在一种可能的实施例中，将本申请的分割结果与其他的方法进行了比较，如表1所示，本发明方法与现有方法的分割定量结果对比，明显优于其他分割方法。
表1本发明方法与现有方法的分割定量结果对比
图6示出了不同方法的脉络膜新生血管CNV的分割结果图。其中，第一列是原始脉络膜新生血管CNV图。接下来的是CE-Net、CPFNet、DeepLab v3、PSPNet、Backbone以及本发明的方法的分割结果图。最后一列是对应的标签图。由图6可以可知，本发明的方法分割精度更高。
通过将所述视网膜OCT图像输入至多尺度信息融合网络，通过所述多尺度信息融合网络对所述视网膜OCT图像进行分割；所述多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，所述编解码器网络包括编码器和解码器，所述编码器用于提取所述视网膜OCT图像中的语义信息和全局特征，所述MAD设置在所述编码器的顶部用于聚合上下文信息，所述SDA连接所述编码器和所述解码器，用于融合多层次的语义信息，所述解码器用于恢复空间分辨率。解决了现有技术中对脉络膜新生血管CNV分割时内部结构信息会丢失的问题，达到了可以提高脉络膜新生血管CNV的分割精度的效果。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种视网膜OCT图像中的脉络膜新生血管CNV分割方法，其特征在于，所述方法包括：
将视网膜OCT图像输入至多尺度信息融合网络MF-Net，通过所述多尺度信息融合网络对所述视网膜OCT图像进行分割；所述多尺度信息融合网络包括编解码器网络、多尺度自适应感知变形模块MAD和语义细节聚合模块SDA，所述编解码器网络包括编码器和解码器，所述编码器用于提取所述视网膜OCT图像中的语义信息和全局特征，所述MAD设置在所述编码器的顶部用于聚合上下文信息，包括：并行可变形卷积模块、多重全局空间注意力模块、多重全局通道注意力模块和自适应残差模块；
所述并行可变形卷积模块，用于接收所述编码器的输出，并将所述编码器的输出并行输入至多个卷积层中，通过卷积层对信道压缩并提取全局上下文信息，将输出的特征图连接并输入至可变形卷积，所述可变形卷积将连接的特征映射分别输入至所述全局空间注意力模块、所述全局通道注意力模块和所述自适应残差模块；
所述多重全局空间注意力模块包括最大池化和平均池化；
所述多重全局空间注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入至所述最大池化和所述平均池化，通过所述最大池化和所述平均池化得到注意力特征映射，将所述注意力特征映射输入至所述自适应残差模块；
所述多重全局通道注意力模块，用于将所述并行可变形卷积模块输出的特征映射输入两个平行分支，得到全局通道最大值映射和全局通道均值映射，根据所述全局通道最大值映射和所述全局通道均值映射确定通道特征映射，并将所述通道特征映射输入至所述自适应残差模块；
所述自适应残差模块，用于将所述并行可变形卷积模块输出的特征映射分别乘以所述多重全局空间注意力模块输出的注意力特征映射和所述多重全局通道注意力模块输出的通道特征映射，根据相乘结果确定最终输出，并将输出结果输出至所述解码器；
所述SDA连接所述编码器和所述解码器，用于提取用于分割的语义信息和详细信息对提取到的语义信息和详细信息进行融合，并将融合结果输出至最外层解码器，每个SDA的输出为：
其中Sk为第k个SDA模块的输出，Conv表示卷积，F1和F2分别表示解码器3和SDA 1的输出特征映射，@2为速率为2的上采样操作，表示矩阵对应元素相乘，E3-k表示第3-k个编码器的输出特征映射，/>表示矩阵对应元素相加，D3-k表示第3-k个解码器的输出特征映射；所述解码器用于恢复空间分辨率，结合伪数据增强策略，利用未标记数据，通过所述半监督尺度信息融合网络SemiMF-Net网络结构，进一步提高了脉络膜新生血管CNV分割精度；
所述SemiMF-Net半监督网络结构主要包括三个步骤:1)利用带标签数据对MF-Net进行预训练，对未带标签的数据进行分割，将这些分割结果作为未带标签数据的伪标签；2)将带有伪标签的未标注数据与标注数据混合，基于目标函数L′Pseudo+LReal进行半监督地训练MF-Net；3)最后，使用SemiMF-Net半监督网络分割视网膜OCT图像中脉络膜新生血管CNV。
CN202110923753.XA 2021-08-12 2021-08-12 视网膜oct图像中的脉络膜新生血管cnv分割方法 Active CN113724262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110923753.XA CN113724262B (zh) 2021-08-12 2021-08-12 视网膜oct图像中的脉络膜新生血管cnv分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110923753.XA CN113724262B (zh) 2021-08-12 2021-08-12 视网膜oct图像中的脉络膜新生血管cnv分割方法

Publications (2)

Publication Number Publication Date
CN113724262A CN113724262A (zh) 2021-11-30
CN113724262B true CN113724262B (zh) 2023-10-03

Family

ID=78675576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923753.XA Active CN113724262B (zh) 2021-08-12 2021-08-12 视网膜oct图像中的脉络膜新生血管cnv分割方法

Country Status (1)

Country Link
CN (1) CN113724262B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740076B (zh) * 2023-05-15 2024-08-16 苏州大学 视网膜色素变性眼底图像中色素分割的网络模型设计方法
CN117058160B (zh) * 2023-10-11 2024-01-16 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600614A (zh) * 2016-12-19 2017-04-26 南京理工大学 基于凹凸性的sd‑oct视网膜图像cnv分割方法
CN110415231A (zh) * 2019-07-25 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于注意力先验网络的cnv分割方法
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284085A1 (en) * 2015-03-25 2016-09-29 Oregon Health & Science University Systems and methods of choroidal neovascularization detection using optical coherence tomography angiography
WO2016154485A1 (en) * 2015-03-25 2016-09-29 Oregon Health & Science University Optical coherence tomography angiography methods
US11883099B2 (en) * 2019-11-27 2024-01-30 Oregon Health & Science University Noninvasive techniques for identifying choroidal neovascularization in retinal scans

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600614A (zh) * 2016-12-19 2017-04-26 南京理工大学 基于凹凸性的sd‑oct视网膜图像cnv分割方法
CN110415231A (zh) * 2019-07-25 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于注意力先验网络的cnv分割方法
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统

Also Published As

Publication number Publication date
CN113724262A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113724262B (zh) 视网膜oct图像中的脉络膜新生血管cnv分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
Ye et al. MFI-Net: Multiscale feature interaction network for retinal vessel segmentation
US20230196528A1 (en) Multimodal medical image fusion method based on darts network
CN117612221B (zh) 结合注意力shift的OCTA图像血管提取方法
KR20190136577A (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
Li et al. Multi-stage attention-unet for wireless capsule endoscopy image bleeding area segmentation
CN112884788A (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
KR102604217B1 (ko) 잔차 컨볼루션 기반 딥러닝 네트워크를 이용한 영상 분할 방법 및 장치
CN116385725B (zh) 眼底图像视盘视杯分割方法及装置、电子设备
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN113888412A (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114187296A (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN116912503B (zh) 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法
CN115423685A (zh) 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN116705297B (zh) 一种基于多信息处理的颈动脉检测仪
CN116823851B (zh) 基于特征重构的无监督域自适应oct图像分割方法及系统
Wang et al. MEMO: dataset and methods for robust multimodal retinal image registration with large or small vessel density differences
Bhandari et al. Soft Attention Mechanism Based Network to Extract Blood Vessels From Retinal Image Modality
CN118537565B (zh) 基于窗口和轴向注意力融合的医学图像分割方法和设备
CN114881968B (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN118229713B (zh) Oct和octa图像融合的视网膜血管图像分割方法
Chen et al. HDB-Net: hierarchical dual-branch network for retinal layer segmentation in diseased OCT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant