CN114881968A - 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 - Google Patents

基于深度卷积神经网络的octa图像血管分割方法、设备及介质 Download PDF

Info

Publication number
CN114881968A
CN114881968A CN202210488808.3A CN202210488808A CN114881968A CN 114881968 A CN114881968 A CN 114881968A CN 202210488808 A CN202210488808 A CN 202210488808A CN 114881968 A CN114881968 A CN 114881968A
Authority
CN
China
Prior art keywords
network
vessel segmentation
image
feature
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210488808.3A
Other languages
English (en)
Inventor
朱承璋
王晗
肖亚龙
邹北骥
柴娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210488808.3A priority Critical patent/CN114881968A/zh
Publication of CN114881968A publication Critical patent/CN114881968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的OCTA图像血管分割方法、设备及介质,属于医学图像处理技术领域。其中方法包括:针对待分割的OCTA图像中的en face图像,使用训练好的血管分割模型进行血管分割;其中,所述血管分割模型采用深度卷积神经网络结构,由粗分网络和细分网络级联而成;所述粗分网络接受en face图像作为输入,生成初步的血管分割图;所述细分网络拼接原始的en face图像和初步血管分割图并作为新的输入,最终输出细化后的血管分割图。本发明的深度卷积神经网络能够完整、精确地提取血管信息,尤其是在微血管分割方面表现优异。

Description

基于深度卷积神经网络的OCTA图像血管分割方法、设备及 介质
技术领域
本发明属于医学图像处理技术领域,涉及一种基于深度卷积神经网络的OCTA图像血管分割方法、设备及介质。
背景技术
在临床中,视网膜眼底分析可以为眼科疾病的诊断提供关键的信息,其中视网膜血管的分割起着重要的作用。精准的血管分割不仅可以节省眼科医生进行临床诊断的时间,还可以提高疾病的准确率。
OCTA是一种先进的眼科成像技术,通过测量连续横断面扫描中OCT信号的振幅变化来检测血管腔内的血细胞运动。OCTA能够呈现出视网膜和脉络膜任一层的血管结构视图,并显示毛细血管水平的血管细节。OCTA克服了OCT不能很好地提供血流信息的缺点,逐渐成为眼科临床常用的观察工具。与传统眼底血管造影术相比,OCTA不用注射造影剂,方便快捷,可以避免患者产生不良反应。因此,OCTA已被广泛应用于眼科临床。
通过调研视网膜血管分割相关工作发现,基于彩色眼底图像的视网膜血管分割已经被研究了20多年,研究学者提出了一系列方法用于彩色眼底图像的血管分割,其中基于深度学习的方法,如U-Net,R2U-Net,AttU-Net,CS2-Net和Octave U-Net等取得了优异的表现。虽然彩色眼底图像的视野大于OCTA,但它不能提供详细的毛细血管信息,而且容易受到视盘、黄斑区、光照和病变的影响,导致血管分割效果较差。
由于OCTA成像是一种相对较新的技术,所以在OCTA图像中进行视网膜血管分割的实践很少。目前仅有极少方法用于OCTA视网膜血管分割,并且这些方法大多是针对特定的数据集设计的,缺乏对其他公共数据集的验证。其次,眼底血管的拓朴结构具有多尺度、复杂和多变的特点,现有方法分割出的血管普遍存在不同程度的断裂、缺失和模糊的情况,特别是微血管像素。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提出一种基于深度卷积网络的OCTA图像血管分割方法,能够完整、精确地提取血管信息。
为实现上述技术目的,本发明采用如下技术方案:
一种基于深度卷积神经网络的OCTA图像血管分割方法,针对待分割的OCTA图像中的en face图像,使用训练好的血管分割模型进行血管分割;其中,所述血管分割模型采用深度卷积神经网络结构,由粗分网络和细分网络级联而成;所述粗分网络接受en face图像作为输入,生成初步的血管分割图;所述细分网络拼接原始的en face图像和初步血管分割图并作为新的输入,最终输出细化后的血管分割图。
进一步地,所述粗分网络和细分网络,均为由编码器和解码器构成的U型网络;除编码器第一层之外,所述粗分网络和细分网络的结构相同,权重共享;除了输出层为倍频程卷积块外,网络各层均设置为倍频程残差卷积块;编码器各层之间使用平均池化对输入图像进行逐级下采样,解码器各层之间使用转置的倍频程卷积进行上采样;编码器与解码器之间添加融合上下文信息的注意力块,在两级网络之间引入多尺度特征块。
进一步地,倍频程卷积块由大小为3×3的倍频程卷积、BN层、ReLU层和Dropout层组成;倍频残差卷积块由两个倍频程卷积块和用于构成残差的跳跃连接组成;跳跃连接使用带BN层的大小为1×1的倍频程卷积,跳跃连接插入的时机是在第二个倍频程卷积块的BN层之后,ReLU激活之前。
进一步地,编码器与解码器之间的注意力块,首先通过自注意力机制建模特征图中任意两像素位置之间的依赖关系,提取包括丰富血管结构信息的上下文特征;然后将提取的上下文特征融合到通道中,通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响应。
进一步地,所述通过自注意力机制建模特征图中任意两像素位置之间的依赖关系,具体包括:
步骤A1:将编码器输出的特征图F∈RC×H×W作为注意力块的输入,分别输入大小为1×3的倍频程卷积和3×1的倍频程卷积中,依次经过BN层、ReLU层和reshape操作后得到输出,Fy∈RC×N和Fx∈RC×N;其中C代表通道数、H和W分别代表特征图的高和宽,N=H×W表示特征数,Fy、Fx分别表示所捕获的竖直和水平方向上的血管轮廓特征;
步骤A2:对Fy进行转置得到
Figure BDA0003630818330000021
Figure BDA0003630818330000022
和Fx的矩阵乘积上通过Softmax函数计算空间中任意两点(x,y)之间的关系权值,即注意力权值:
Figure BDA0003630818330000023
步骤A3:将特征图F∈RC×H×W输入1×1倍频程卷积中,依次经过BN层、ReLU层和reshape操作得到特征图Fv∈RC×N;将Fv和步骤A2计算得到的注意力权值矩阵σs∈RN×N相乘获得增强后的特征F′∈RC×N,并reshape得到特征图F′∈RC×H×W;对F和F′执行逐元素相加操作,得到特征图Fs∈RC×H×W,Fs聚合了全局的上下文信息,其中包括丰富的血管结构信息。
进一步地,所述通过建模通道间的相互依赖关系,具体包括:
步骤B1:分别通过全局平局池化和全局最大池化操作提取特征图Fs∈RC×H×W中的空间信息Fap∈RC×1×1和Fmp∈RC×1×1;Fs为包括丰富血管结构信息的上下文特征的特征图;
步骤B2:将Fap和Fmp输入权重共享的1×1的倍频程卷积块中,并将卷积块的输出在通道维度逐元素相加,以融合各通道特征,最后通过Softmax函数计算得到各通道的权值响应σc∈RC×1×1
σc=σ{OctConv1(Fap)+OctConv1(Fmp)}
其中OctConv1(·)表示由大小为1×1的倍频程卷积、BN层和ReLU层构成的卷积块;σ表示Softmax激活函数;
步骤B3:将注意力块原始输入的特征图F∈RC×H×W,与步骤B2计算得到的权值矩阵σc相乘获得增强后的特征F″∈RC×H×W,将F与F″逐元素相加,得到注意力块的最终输出特征图Fc∈RC×H×W
进一步地,多尺度特征块的构建步骤如下:
步骤C1:对于第x个多尺度特征块,首先获取粗分网络编码器提取的不同尺度丰富低级语义特征
Figure BDA0003630818330000031
Figure BDA0003630818330000032
其中x∈[1,4],y∈[x+1,5],
Figure BDA0003630818330000033
表示粗分网络编码器第y层输出的特征图,Upsample(·)表示上采样操作,OctConv1(·)表示由大小为1×1的倍频程卷积;
步骤C2:将
Figure BDA0003630818330000034
与细分网络编码器对应层的特征图
Figure BDA0003630818330000035
执行逐元素相乘,所得结果再与
Figure BDA0003630818330000036
相加得到融合不同尺度信息的特征Fout,即为第x个多尺度特征块的输出:
Figure BDA0003630818330000037
其中
Figure BDA0003630818330000038
表示细分网络编码器第x层输出的特征图,+、*分别表示逐元素相加和相乘操作,σ为Softmax激活函数;
步骤C3:将第x个多尺度特征块输出的特征图Fout,通过跳跃连接与细分网络解码器输入特征图进行拼接,促进不同尺度的语义特征深度融合。
进一步地,训练深度卷积神经网络得到所述血管分割模型的损失函数为:
Figure BDA0003630818330000039
其中λ是一个超参数,负责平衡粗分网络和细分网络损失函数项的权重占比;Lc和Lr分别表示粗分网络和细分网络的损失函数项,均为基于均方误差损失函数Lmse和Dice损失函数Ldice的联合损失函数;将Lc和Lr统一表示为L,则:
L=Lmse+Ldice
Figure BDA0003630818330000041
Figure BDA0003630818330000042
其中,M表示en face图像中的像素的个数,gi∈[0,1],pi∈{0,1}分别表示第i个像素的标签值和预测值;ε为拉普拉斯平滑因子。
一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现上述任一项技术方案所述的基于深度卷积神经网络的OCTA图像血管分割方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项技术方案所述的基于深度卷积神经网络的OCTA图像血管分割方法。
有益效果
本发明用于对待分割的OCTA图像中的en face图像,使用训练好的血管分割模型进行血管分割,其中,所述血管分割模型采用深度卷积神经网络结构,由粗分网络和细分网络级联而成,前者生成初步血管分割图,后者进一步细化输出精细的血管分割结果,两级网络结构相同、权重共享。骨架网络采用U型结构,基于倍频程残差卷积块设计,以提取图像多频信息。其次,为了更好地描述微血管特征,设计融合上下文信息的注意力块并将其引入到网络的编码器和解码器之间。最后,在两级网络之间引入多尺度特征块以促进不同尺度语义特征的深度融合。在OCTA-SS和OCTA-500两个公开数据集上的实验结果表明,本发明具有良好的血管分割效果,能够完整、精确地提取血管信息,特别是在细微血管的分割上表现优异。
附图说明
图1是本发明的深度卷积神经网络OVS-Net结构图。
图2是本发明的倍频程卷积块和倍频程残差卷积块结构图。
图3是本发明的融合上下文信息的注意力块示意图。
图4是本发明的多尺度特征块示意图。
图5是本发明的OVS-Net网络训练过程示意图。
图6是本发明的OCTA-SS数据集血管分割可视化结果对比图。
图7是本发明的OCTA-500数据集血管分割可视化结果对比图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例以本发明的技术方案为依据开展,给出了详细的实施方式和具体的操作过程,对本发明的技术方案作进一步解释说明。
本实施例用于进行血管分割的模型,采用由粗分网络和细分网络级联而成的深度神经网络构建并使用训练样本训练得到,将本实施例中构建的深度神经网络记为OVS-Net网络结构。其中,粗分网络生成初步血管分割图,细分网络进一步细化输出精细的血管分割结果,两级网络结构相同、权重共享。粗分网络和细分网络均采用U型结构,基于倍频程残差卷积块设计,以提取图像多频信息。其次,为了更好地描述微血管特征,设计融合上下文信息的注意力块并将其引入到网络的编码器和解码器之间。最后,在两级网络之间引入多尺度特征块以促进不同尺度语义特征的深度融合。在OCTA-SS和OCTA-500两个公开数据集上的实验结果表明,本发明取得极具竞争力的血管分割结果,尤其是在微血管分割方面。
本实施例提供的基于深度卷积神经网络的OCTA图像血管分割方法,包括以下步骤:
步骤1:选取公开数据集OCTA-SS和OCTA-500,并将其划分为训练集、验证集和测试集。对于数据集OCTA-SS,将其划分为训练集(NO.1-NO.35),验证集(NO.46-NO.55),测试集(NO.36-NO.45)。数据集OCTA-500包含了两个子数据集,即OCTA_6M和OCTA_3M。选取OCTA-500数据集中给出的内界膜和外丛状层之间的最大投影图,该投影图可以清楚地显示内侧视网膜的血管形态。将OCTA_6M分为训练集(NO.10001-NO.10180)、验证集(NO.10181-NO.10200)、测试集(NO.10201-NO.10300),将OCTA_3M分为训练集(NO.10301-NO.10440)、验证集(NO.10441-NO.10450)、测试集(NO.10451-NO.10500)。
步骤2:构建用于OCTA血管分割的深度卷积神经网络模型OVS-Net(如图1所示):
(1)基于倍频程卷积块、倍频程残差卷积块构建五层U型骨架网络。
如图2所示,倍频程卷积块由大小为3×3的倍频程卷积(OctConv)、BN层、ReLU层和Dropout层组成。倍频残差卷积块由两个倍频程卷积块和用于构成残差的跳跃连接组成。跳跃连接使用带BN层的大小为1×1的倍频程卷积保证输入特征、输出特征的通道维度一致,跳跃连接插入的时机是在第二个倍频程卷积块的BN层之后,ReLU激活之前。
(2)设计融合上下文信息的注意力块,并将其引入到U型网络的编码器和解码器之间,以弱化噪声影响,促使网络更加关注图像中的血管结构。如图3所示。
该注意力模块首先通过自注意力机制建模特征图中任意两像素位置之间的依赖关系,提取包括丰富血管结构信息的上下文特征:
参考图3左下方区域所示,首先将特征图F∈RC×H×W分别输入大小为1×3的倍频程卷积和3×1的倍频程卷积中,依次经过BN层、ReLU层和reshape操作后得到输出,Fy∈RC×N和Fx∈RC×N。其中C代表通道数、H和W分别代表特征图的高和宽,N=H×W表示特征数,Fy、Fx分别表示所捕获的竖直和水平方向上的血管轮廓特征。
对Fy进行转置得到
Figure BDA0003630818330000061
Figure BDA0003630818330000062
和Fx的矩阵乘积上通过Softmax函数计算空间中任意两点(x,y)之间的关系权值:
Figure BDA0003630818330000063
将特征图F∈RC×H×W输入1×1倍频程卷积中,依次经过BN层、ReLU层和reshape操作得到特征图Fv∈RC×N。将Fv和注意力权值矩阵σs∈RN×N相乘获得增强后的特征F′∈RC×N,并reshape得到F′∈RC×H×W。对F和F′执行逐元素相加操作,得到特征图Fs∈RC×H×W,Fs聚合了全局的上下文信息,其中包括丰富的血管结构信息。
然后将提取的上下文特征融合到通道中,通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响应:
参考图3右下方区域所示,通过全局平局池化和全局最大池化操作提取特征图Fs∈RC×H×W中的空间信息Fap∈RC×1×1和Fmp∈RC×1×1。全局平局池化和全局最大池化操作公式为:
Figure BDA0003630818330000064
其中,0<c<C,0<h<H,0<w<W;
Figure BDA0003630818330000065
Figure BDA0003630818330000066
分别代表Fap和Fmp在通道c处的特征值。
将Fap和Fmp输入权重共享的1×1的倍频程卷积块中,并将卷积块的输出在通道维度逐元素相加,以融合各通道特征,最后通过Softmax函数计算得到各通道的权值响应σc∈RC×1×1
σc=σ{OctConv1(Fap)+OctConv1(Fmp)}
其中OctConv1(·)表示由大小为1×1的倍频程卷积、BN层和ReLU层构成的卷积块。σ表示Softmax激活函数。
将原始输入特征F∈RC×H×W和步骤5计算得到的权值矩阵σc相乘获得增强后的特征F″∈RC×H×W。将F与F″逐元素相加得到最终输出Fc∈RC×H×W。Fc既聚合了的丰富的全局上下文信息,又突出了血管像素,抑制了不相关的背景像素和噪声的影响,促使网络更好地提取血管结构。
(3)按步骤步骤(1)中构建两个五层U型网络级联,所得两个网络分别命名为粗分网络和细分网络,除编码器第一层之外,两者结构相同,权重共享。其中粗分网络接受enface图像作为输入,生成初步的血管分割图,细分网络拼接原始en face图像和初步血管分割图作为新的输入,最终输出细化后的血管分割图。
所述粗分网络和细分网络,除了输出层为倍频程卷积块外,网络各层均设置为倍频程残差卷积块,在编码器之间使用平均池化对输入图像进行逐级下采样,解码器之间使用转置的倍频程卷积进行上采样。
(4)设计多尺度特征块,如图4所示,并将其引入到两级网络之间,促进不同尺度语义特征的深度融合,进一步增强了网络的血管提取能力的同时也促进了梯度的回传,使得网络更容易训练。
对于第x个多尺度特征块,首先获取粗分网络编码器提取的不同尺度丰富低级语义特征
Figure BDA0003630818330000071
Figure BDA0003630818330000072
其中x∈[1,4],y∈[x+1,5],
Figure BDA0003630818330000073
表示粗分网络编码器第y层输出的特征图,Upsample(·)表示上采样操作,OctConv1(·)表示由大小为1×1的倍频程卷积;
然后将
Figure BDA0003630818330000074
与细分网络编码器对应层的特征图
Figure BDA0003630818330000075
执行逐元素相乘,所得结果再与
Figure BDA0003630818330000076
加得到融合不同尺度信息的特征Fout,即为第x个多尺度特征块的输出:
Figure BDA0003630818330000077
其中
Figure BDA0003630818330000078
表示细分网络编码器第x层输出的特征图,+、*分别表示逐元素相加和相乘操作,σ为Softmax激活函数;
最后将第x个多尺度特征块输出的特征图Fout,通过跳跃连接与细分网络解码器输入特征图进行拼接,促进不同尺度的语义特征深度融合。
步骤3:构建模型损失函数
Figure BDA0003630818330000079
Figure BDA00036308183300000710
其中λ是一个超参数,负责平衡粗分网络和细分网络损失函数项的权重占比,实验设置为
Figure BDA00036308183300000711
Lc和Lr分别表示粗分网络和细分网络的损失函数项,均为基于均方误差损失函数Lmse和Dice损失函数Ldice的联合损失函数:
L=Lmse+Ldice
Figure BDA00036308183300000712
Figure BDA0003630818330000081
其中,M表示en face图像中的像素的个数,gi∈[0,1],pi∈{0,1}分别表示第i个像素的标签值和预测值。为了避免数值不稳定问题和加速loss的收敛,在Dice损失函数上添加拉普拉斯平滑因子ε,并将ε设置为1.0。
步骤4:步骤1得到的训练集按批次输入到OVS-Net中进行训练,得到血管分割模型。训练流程如图5所示。
实验实验基于Pytorch深度学习框架,训练并行使用两块NVIDIA Titan XP显卡进行GPU加速。使用weight_decay为0.0005的Adam优化器,初始学习率设置为0.0001,采用power为0.9的Poly学习率衰减策略,OCTA-SS训练的epoch数为300,OCTA_500训练的epoch数为1000,两个数据集的batch size大小均设置为8。实验过程中每个epoch在验证集上进行验证,保存在验证集上损失函数值
Figure BDA0003630818330000082
最小的模型。
步骤5:将测试集图像作为待分割的OCTA图像中的en face图像,将其输入到上述训练好的血管分割模型中,得到血管分割结果。
在OCTA-SS测试集上进行模型评估得到的Dice系数、Jaccard相似系数、均衡准确率、召回率分别为90.50%、82.67%、92.08%、93.88%。在OCTA_6M测试集上进行评估得到的Dice系数、Jaccard相似系数、均衡准确率、召回率分别为85.93%、75.46%、95.58%、93.62%。在OCTA_3M测试集上进行评估得到的Dice系数、Jaccard相似系数、均衡准确率、召回率分别为87.66%、78.11%、97.62%、96.97%。
图6为本发明和对比方法在OCTA-SS数据集上进行血管分割的可视化结果对比图。可以看到,对比方法分割出的血管均存在像素遗漏、模糊和断裂的情况,与这些方法相比,本发明成功地提取出微血管并且分割出的血管具有良好的连续性和完整性。
图7为本发明和对比方法在OCTA-500数据集上进行血管分割的可视化结果对比图。可以看到,对比方法存在血管提取不完整的情况,本发明分割出的血管则提取出了清晰的血管轮廓,且具有较好的血管的连通性,具备更好的血管提取能力,取得了和金标准基本一致的结果。
综上,本发明提出的一种基于深度卷积神经网络的OCTA血管分割方法,在OCTA-55、OCTA_3M和OCTA_6M上的实验结果表明,本发明具有良好的血管分割效果,能够完整、精确地提取血管信息,特别是在细微血管的分割上表现优异。
以上实施例为本申请的优选实施例,本领域的普通技术人员还可以在此基础上进行各种变换或改进,在不脱离本申请总的构思的前提下,这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (10)

1.一种基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,针对待分割的OCTA图像中的en face图像,使用训练好的血管分割模型进行血管分割;其中,所述血管分割模型采用深度卷积神经网络结构,由粗分网络和细分网络级联而成;所述粗分网络接受en face图像作为输入,生成初步的血管分割图;所述细分网络拼接原始的en face图像和初步血管分割图并作为新的输入,最终输出细化后的血管分割图。
2.根据权利要求1所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,所述粗分网络和细分网络,均为由编码器和解码器构成的U型网络;除编码器第一层之外,所述粗分网络和细分网络的结构相同,权重共享;除了输出层为倍频程卷积块外,网络各层均设置为倍频程残差卷积块;编码器各层之间使用平均池化对输入图像进行逐级下采样,解码器各层之间使用转置的倍频程卷积进行上采样;编码器与解码器之间添加融合上下文信息的注意力块,在两级网络之间引入多尺度特征块。
3.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,倍频程卷积块由大小为3×3的倍频程卷积、BN层、ReLU层和Dropout层组成;倍频残差卷积块由两个倍频程卷积块和用于构成残差的跳跃连接组成;跳跃连接使用带BN层的大小为1×1的倍频程卷积,跳跃连接插入的时机是在第二个倍频程卷积块的BN层之后,ReLU激活之前。
4.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,编码器与解码器之间的注意力块,首先通过自注意力机制建模特征图中任意两像素位置之间的依赖关系,提取包括丰富血管结构信息的上下文特征;然后将提取的上下文特征融合到通道中,通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响应。
5.根据权利要求4所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,所述通过自注意力机制建模特征图中任意两像素位置之间的依赖关系,具体包括:
步骤A1:将编码器输出的特征图F∈RC×H×W作为注意力块的输入,分别输入大小为1×3的倍频程卷积和3×1的倍频程卷积中,依次经过BN层、ReLU层和reshape操作后得到输出,Fy∈RC×N和Fx∈RC×N;其中C代表通道数、H和W分别代表特征图的高和宽,N=H×W表示特征数,Fy、Fx分别表示所捕获的竖直和水平方向上的血管轮廓特征;
步骤A2:对Fy进行转置得到
Figure FDA0003630818320000011
Figure FDA0003630818320000012
和Fx的矩阵乘积上通过Softmax函数计算空间中任意两点(x,y)之间的关系权值,即注意力权值:
Figure FDA0003630818320000013
步骤A3:将特征图F∈RC×H×W输入1×1倍频程卷积中,依次经过BN层、ReLU层和reshape操作得到特征图Fv∈RC×N;将Fv和步骤A2计算得到的注意力权值矩阵σs∈RN×N相乘获得增强后的特征F′∈RC×N,并reshape得到特征图F′∈RC×H×W;对F和F′执行逐元素相加操作,得到特征图Fs∈RC×H×W,Fs聚合了全局的上下文信息,其中包括丰富的血管结构信息。
6.根据权利要求4所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,所述通过建模通道间的相互依赖关系,具体包括:
步骤B1:分别通过全局平局池化和全局最大池化操作提取特征图Fs∈RC×H×W中的空间信息Fap∈RC×1×1和Fmp∈RC×1×1;FS为包括丰富血管结构信息的上下文特征的特征图;
步骤B2:将Fap和Fmp输入权重共享的1×1的倍频程卷积块中,并将卷积块的输出在通道维度逐元素相加,以融合各通道特征,最后通过Softmax函数计算得到各通道的权值响应σc∈RC×1×1
σc=σ{OctConv1(Fap)+OctConv1(Fmp)}
其中OctConv1(·)表示由大小为1×1的倍频程卷积、BN层和ReLU层构成的卷积块;σ表示Softmax激活函数;
步骤B3:将注意力块原始输入的特征图F∈RC×H×W,与步骤B2计算得到的权值矩阵σc相乘获得增强后的特征F″∈RC×H×W,将F与F″逐元素相加,得到注意力块的最终输出特征图Fc∈RC ×H×W
7.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,多尺度特征块的构建步骤如下:
步骤C1:对于第x个多尺度特征块,首先获取粗分网络编码器提取的不同尺度丰富低级语义特征
Figure FDA0003630818320000021
Figure FDA0003630818320000022
其中x∈[1,4],y∈[x+1,5],
Figure FDA0003630818320000023
表示粗分网络编码器第y层输出的特征图,Upsample(·)表示上采样操作,OctConv1(·)表示由大小为1×1的倍频程卷积;
步骤C2:将
Figure FDA0003630818320000024
与细分网络编码器对应层的特征图
Figure FDA0003630818320000025
执行逐元素相乘,所得结果再与
Figure FDA0003630818320000026
相加得到融合不同尺度信息的特征Fout,即为第x个多尺度特征块的输出:
Figure FDA0003630818320000027
其中
Figure FDA0003630818320000028
表示细分网络编码器第x层输出的特征图,+、*分别表示逐元素相加和相乘操作,σ为Softmax激活函数;
步骤C3:将第x个多尺度特征块输出的特征图Fout,通过跳跃连接与细分网络解码器输入特征图进行拼接,促进不同尺度的语义特征深度融合。
8.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法,其特征在于,训练深度卷积神经网络得到所述血管分割模型的损失函数为:
Figure FDA0003630818320000031
其中λ是一个超参数,负责平衡粗分网络和细分网络损失函数项的权重占比;Lc和Lr分别表示粗分网络和细分网络的损失函数项,均为基于均方误差损失函数Lmse和Dice损失函数Ldice的联合损失函数;将Lc和Lr统一表示为L,则:
L=Lmse+Ldice
Figure FDA0003630818320000032
Figure FDA0003630818320000033
其中,M表示en face图像中的像素的个数,gi∈[0,1],pi∈{0,1}分别表示第i个像素的标签值和预测值;ε为拉普拉斯平滑因子。
9.一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1~8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1~8中任一项所述的方法。
CN202210488808.3A 2022-05-07 2022-05-07 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 Pending CN114881968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210488808.3A CN114881968A (zh) 2022-05-07 2022-05-07 基于深度卷积神经网络的octa图像血管分割方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210488808.3A CN114881968A (zh) 2022-05-07 2022-05-07 基于深度卷积神经网络的octa图像血管分割方法、设备及介质

Publications (1)

Publication Number Publication Date
CN114881968A true CN114881968A (zh) 2022-08-09

Family

ID=82674770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210488808.3A Pending CN114881968A (zh) 2022-05-07 2022-05-07 基于深度卷积神经网络的octa图像血管分割方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114881968A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205300A (zh) * 2022-09-19 2022-10-18 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN116309042A (zh) * 2022-12-23 2023-06-23 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116630334A (zh) * 2023-04-23 2023-08-22 中国科学院自动化研究所 用于多分段血管实时自动分割方法、装置、设备及介质
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN117576519A (zh) * 2024-01-15 2024-02-20 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205300A (zh) * 2022-09-19 2022-10-18 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN115205300B (zh) * 2022-09-19 2022-12-09 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN116309042A (zh) * 2022-12-23 2023-06-23 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116309042B (zh) * 2022-12-23 2024-03-22 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116630334A (zh) * 2023-04-23 2023-08-22 中国科学院自动化研究所 用于多分段血管实时自动分割方法、装置、设备及介质
CN116630334B (zh) * 2023-04-23 2023-12-08 中国科学院自动化研究所 用于多分段血管实时自动分割方法、装置、设备及介质
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN116664602B (zh) * 2023-07-26 2023-11-03 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN117576519A (zh) * 2024-01-15 2024-02-20 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质
CN117576519B (zh) * 2024-01-15 2024-04-09 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN108717869B (zh) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
CN110197492A (zh) 一种心脏mri左心室分割方法及系统
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN112785551A (zh) 一种基于深度学习的冠状动脉分割方法
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN114694236A (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN114782394A (zh) 一种基于多模态融合网络的白内障术后视力预测系统
CN114549541A (zh) 一种基于眼底图像的心脑血管疾病发生种类及风险预测方法、系统、计算机设备及存储介质
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN113362360B (zh) 基于流体速度场的超声颈动脉斑块分割方法
CN115018863A (zh) 基于深度学习的图像分割方法及装置
CN115311193A (zh) 一种基于双重注意力机制的异常脑图像分割方法及系统
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN115937192A (zh) 一种无监督视网膜血管分割方法、系统及电子设备
CN111325756A (zh) 基于深度学习网络的三维影像动静脉分割方法及系统
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
CN115810122A (zh) 基于spect/ct检测甲状腺相关眼病活动性的深度学习方法
CN113902738A (zh) 一种心脏mri分割方法及系统
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Yang et al. Segmentation of retinal detachment and retinoschisis in OCT images based on improved U-shaped network with cross-fusion global feature module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Chengzhang

Inventor after: Wang Han

Inventor after: Hua Lan

Inventor after: Xiao Yalong

Inventor after: Zou Beiji

Inventor after: Chai Xian

Inventor before: Zhu Chengzhang

Inventor before: Wang Han

Inventor before: Xiao Yalong

Inventor before: Zou Beiji

Inventor before: Chai Xian