CN116363145A - 一种基于双重边缘表示的眼底oct图像视网膜分层方法 - Google Patents

一种基于双重边缘表示的眼底oct图像视网膜分层方法 Download PDF

Info

Publication number
CN116363145A
CN116363145A CN202310374298.1A CN202310374298A CN116363145A CN 116363145 A CN116363145 A CN 116363145A CN 202310374298 A CN202310374298 A CN 202310374298A CN 116363145 A CN116363145 A CN 116363145A
Authority
CN
China
Prior art keywords
edge
branch
prediction
loss
retina
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310374298.1A
Other languages
English (en)
Inventor
王帅
程志明
颜成钢
薛轶天
杨德富
张莹
何敏
高宇涵
孙垚棋
朱尊杰
王鸿奎
王廷宇
殷海兵
张继勇
李宗鹏
赵治栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310374298.1A priority Critical patent/CN116363145A/zh
Publication of CN116363145A publication Critical patent/CN116363145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双重边缘表示的眼底OCT图像视网膜分层方法，首先进行数据集获取及预处理，然后构建基于双重边缘表示的眼底OCT图像视网膜分层模型MTDBA‑Net；使用灰度归一化训练图像和人工标注结果及双重边缘表示训练提出的MTDBA‑Net；最后通过训练好的模型实现眼底OCT图像视网膜分层。本发明所提出的双重边缘表示可以包含更加丰富的边缘形状信息，多任务间施加一致性约束可以充分利用多任务间的相关性，提高图像分割的精度获得更精准的边缘。

Description

一种基于双重边缘表示的眼底OCT图像视网膜分层方法
技术领域
本发明涉及医学图像分割领域，尤其涉及一种基于双重边缘表示的多任务网络的眼科OCT图像视网膜分层方法。
背景技术
视网膜疾病是视力损害和失明的主要原因。根据世界卫生组织调查显示，全球有3600万人永久失明，2.53亿人有视力障碍。事实上，80％的视力障碍患者可通过适当的视网膜筛查和治疗计划在早期得到预防或治愈。由于光学相干断层扫描(OCT)可以在不侵入的情况下获得人体视网膜的高分辨率横截面图，因此被广泛用于视网膜疾病的诊断。视网膜分层可以非常直观地分析视网膜层的形状和厚度，是视网膜疾病诊断中非常关键的一步。
目前，已经提出了一些基于深度学习的方法来实现视网膜自动分层。但是由于OCT图像具有高噪声、强伪影及低对比度等特性，现有深度学习方法往往存在分层错乱及边缘不准确等不足。究其原因，主要是这些方法对于边缘的表示缺少鉴别力，没有充分利用层间关系。
发明内容
为了解决现有技术的上述问题，本发明提出一种基于双重边缘表示的眼底OCT图像视网膜分层方法。充分利用层间位置相关性，创新性提出针对视网膜层的双重边缘表示，并提出多任务网络结构实现分割与回归任务的一致性约束，实现视网膜层的精准分割。
为了达到上述目的，本发明采用的主要技术方案包括：
一种基于双重边缘表示的眼底OCT图像视网膜分层方法，包括以下步骤：
步骤1：数据集获取及预处理；
步骤2：构建基于双重边缘表示的眼底OCT图像视网膜分层模型MTDBA-Net；
步骤3：使用灰度归一化训练图像和人工标注结果及双重边缘表示训练提出的MTDBA-Net；
步骤4：通过训练好的模型实现眼底OCT图像视网膜分层。
进一步的，步骤1具体方法如下：
获取训练用眼科OCT图像，并对图像进行人工视网膜层标注以及灰度归一化处理，归一化函数如下：
Figure BDA0004169753350000021
其中x是原始强度值，
Figure BDA0004169753350000022
是归一化以后的值；
进一步的，步骤2具体方法如下：
所述基于双重边缘表示的眼底OCT图像视网膜分层模型(MTDBA-Net)为多任务三分支结构，主要由4个部分构成：共享特征提取器、执行分割任务的主分支、执行上边缘表示的上分支以及执行下边缘表示回归任务的下分支。
共享特征提取器采用基于U-net的网络架构，其编码部分采用vgg16,解码部分只保留了前2次上采样所对应的网络架构。三分支结构都共享上述的共享特征提取器，将输入图像经共享特征提取器后的输出作为三分支结构的输入。
所述的主分支包含解码器和分割预测结构(SPred)两个部分。其中解码器包含三层，每层由3x3卷积，BatchNorm,ReLu构成。分割预测结构(SPred)由1x1卷积层和softmax函数构成。
所述的上分支由3个部分构成：解码器，边缘预测结构(BPred)以及上边缘表征模块。边缘预测结构(BPred)由1x1卷积层和sigmoid函数构成的边缘预测结构(BPred)以及上边缘表征模块。
所述的下分支由3个部分构成：解码器、边缘预测结构(BPred)和下边缘表征模块。其中主、上、下三个分支中的解码器结构相同但参数不共享。上、下分支中的边缘预测结构相同但参数并不共享。
上、下边缘表征模块的上、下边缘表征获取，根据如下公式计算：
Figure BDA0004169753350000031
Figure BDA0004169753350000032
其中：
Figure BDA0004169753350000033
Figure BDA0004169753350000034
其中，
Figure BDA0004169753350000035
和/>
Figure BDA0004169753350000036
分别表示视网膜内像素点到所属视网膜层上边缘/下边缘的最小欧氏距离。GTc表示视网膜分层标注属于第c层的像素集合。/>
Figure BDA0004169753350000037
和/>
Figure BDA0004169753350000038
分别表示GTc中像素的上边缘和下边缘。||x-y||表示像素点x和y之间的欧氏距离，min表示最小距离。
进一步的，步骤3具体方法如下：
所述MTDBA-Net损失函数采用提出的联合一致性损失。
所述MTDBA-Net网络首先将步骤1预处理的图像送入三分支共享的共享特征提取器中；而后三分支接收来自共享特征提取器中的特征分别进行分支特征的学习；接着利用主分支的分割预测结构(SPred)对分割结果进行预测，并使用分割损失Lseg对预测结果进行监督；分别利用上、下分支的边缘预测结构(BPred)以及上、下边缘表征模块的上、下边缘表征对上、下分支的边缘预测结果进行预测，并分别使用边缘回归损失Lbd对预测的上、下分支的边缘结果进行监督。为了利用视网膜每层的上、下边缘信息，将上分支和下分支的预测结果进行融合(即相加操作)得到更加细致的融合边界信息的预测结果。然后，使用双重边缘互补损失Lcom对融合边界信息的预测结果进行监督。最后，还需要将主分支和上、下分支的边缘预测结果利用一致性损失Lcon来约束语义表达一致性。
所述MTDBA-Net网络总体损失函数其具体定义如下：
Ltotal＝w1Lseg+w2Lbd+w3Lcom+w4Lcon
其中Lseg表示分割损失，Lbd为边缘回归损失，Lcom为双重边缘互补损失，Lcon为分割预测与边缘回归预测间一致性损失；w1、w2、w3和w4是用于平衡不同损失的超参数；分割损失Lseg采用Dice loss，定义为：
Figure BDA0004169753350000041
其中GTc和
Figure BDA0004169753350000042
分别是视网膜分层标注第c层的结果和分割分支对视网膜第c层的预测结果；
边缘回归损失Lbd包含上边缘损失和上边缘损失，两者均采用MSE loss，定义如下：
Figure BDA0004169753350000051
其中是
Figure BDA0004169753350000052
和/>
Figure BDA0004169753350000053
分别是第c层的上边缘表示和上边缘分支对上边缘表示第c层的预测，/>
Figure BDA0004169753350000054
和/>
Figure BDA0004169753350000055
分别是第c层的下边缘表示和下边缘分支对下边缘表示第c层的预测；
双重边缘互补损失Lcom定义为：
Figure BDA0004169753350000056
其中
Figure BDA0004169753350000057
Figure BDA0004169753350000058
分割预测与边缘回归预测间一致性损失Lcon定义为：
Figure BDA0004169753350000059
进一步的，步骤4具体方法如下：
对于新采集的OCT待分割图像，首先采用min-max归一化方法进行处理，而后将其输入已训练网络中获得分割分支的预测结果即为最终视网膜分层结果。
本发明的有益效果是：
本发明方法提高了眼科OCT图像视网膜分层精度。本发明总体结构为多任务卷积网络，通过双重边缘表示实现对不清晰难以分辨边缘部分的鉴别性，通过联合一致性损失使得不同边缘表示间以及不同任务间可以相互约束，更好发挥多任务学习优势，增强了分层的稳定性。所提出的双重边缘表示可以包含更加丰富的边缘形状信息，多任务间施加一致性约束可以充分利用多任务间的相关性，提高图像分割的精度获得更精准的边缘。
附图说明
图1本发明实施例流程示意图；
图2本发明实施例双重边缘表示可视化示意图；
图3本发明实施例MTDBA-Net模型结构示意图；
图4本发明实施例MTDBA-Net模型训练过程示意图；
图5为本发明实施例有病灶OCT图像视网膜分割效果图。
具体实施方式
为了更好的解释本发明，下面结合附图，通过具体实施方式，对本发明作详细的描述。
如图1所示，一种基于双重边缘表示的眼底OCT图像视网膜分层方法，包括以下步骤：
步骤1：数据集获取及预处理；
与眼科医院合作共收集了1200幅眼科OCT图像；邀请三个眼科专家对图像进行视网膜层标注为11层，获得分割任务的视网膜分层标注图像；
对眼科OCT图像进行灰度归一化处理，具体采用min-max归一化方法；归一化函数如下：
Figure BDA0004169753350000071
其中x是原始强度值，
Figure BDA0004169753350000072
是归一化以后的值；
步骤2：构建基于双重边缘表示的眼底OCT图像视网膜分层模型(MTDBA-Net)；
如图3所示，基于双重边缘表示的眼底OCT图像视网膜分层模型(MTDBA-Net)为多任务三分支结构，主要由4个部分构成：共享特征提取器、执行分割任务的主分支、执行上边缘表示的上分支以及执行下边缘表示回归任务的下分支。
共享特征提取器采用基于U-net的网络架构，其编码部分采用vgg16,解码部分只保留了前2次上采样所对应的网络架构。三分支结构都共享上述的共享特征提取器，将输入图像经共享特征提取器后的输出作为三分支结构的输入。
主分支包含解码器和分割预测结构(SPred)两个部分。其中解码器包含三层，每层由3x3卷积，BatchNorm,ReLu构成。分割预测结构(SPred)由1x1卷积层和softmax函数构成。
上分支由3个部分构成：解码器，边缘预测结构(BPred)以及上边缘表征模块。边缘预测结构(BPred)由1x1卷积层和sigmoid函数构成的边缘预测结构(BPred)以及上边缘表征模块。
下分支由3个部分构成：解码器、边缘预测结构(BPred)和下边缘表征模块。其中主、上、下三个分支中的解码器结构相同但参数不共享。上、下分支中的边缘预测结构相同但参数并不共享。
上、下边缘表征模块的上、下边缘表征获取，根据如下公式计算：
Figure BDA0004169753350000081
Figure BDA0004169753350000082
其中：
Figure BDA0004169753350000083
Figure BDA0004169753350000084
其中，
Figure BDA0004169753350000085
和/>
Figure BDA0004169753350000086
分别表示视网膜内像素点到所属视网膜层上边缘/下边缘的最小欧氏距离。GTc表示视网膜分层标注属于第c层的像素集合。/>
Figure BDA0004169753350000087
和/>
Figure BDA0004169753350000088
分别表示GTc中像素的上边缘和下边缘。||x-y||表示像素点x和y之间的欧氏距离，min表示最小距离。
图2本发明实施例双重边缘表示可视化示意图；
步骤3：使用灰度归一化训练图像和人工标注结果及双重边缘表示训练提出的MTDBA-Net；
图4本发明实施例MTDBA-Net模型训练过程示意图；
MTDBA-Net损失函数采用提出的联合一致性损失。
MTDBA-Net网络首先将步骤1预处理的图像送入三分支共享的共享特征提取器中；而后三分支接收来自共享特征提取器中的特征分别进行分支特征的学习；接着利用主分支的分割预测结构(SPred)对分割结果进行预测，并使用分割损失Lseg对预测结果进行监督；分别利用上、下分支的边缘预测结构(BPred)以及上、下边缘表征模块的上、下边缘表征对上、下分支的边缘预测结果进行预测，并分别使用边缘回归损失Lbd对预测的上、下分支的边缘结果进行监督。为了利用视网膜每层的上、下边缘信息，将上分支和下分支的预测结果进行融合(即相加操作)得到更加细致的融合边界信息的预测结果。然后，使用双重边缘互补损失Lcom对融合边界信息的预测结果进行监督。最后，还需要将主分支和上、下分支的边缘预测结果利用一致性损失Lcon来约束语义表达一致性。
MTDBA-Net网络总体损失函数其具体定义如下：
Ltotal＝w1Lseg+w2Lbd+w3Lcom+w4Lcon
其中Lseg表示分割损失，Lbd为边缘回归损失，Lcom为双重边缘互补损失，Lcon为分割预测与边缘回归预测间一致性损失；w1、w2、w3和w4是用于平衡不同损失的超参数；分割损失Lseg采用Dice loss，定义为：
Figure BDA0004169753350000091
其中GTc和
Figure BDA0004169753350000092
分别是视网膜分层标注第c层的结果和分割分支对视网膜第c层的预测结果；
边缘回归损失Lbd包含上边缘损失和上边缘损失，两者均采用MSE loss，定义如下：
Figure BDA0004169753350000093
其中是
Figure BDA0004169753350000101
和/>
Figure BDA0004169753350000102
分别是第c层的上边缘表示和上边缘分支对上边缘表示第c层的预测，/>
Figure BDA0004169753350000103
和/>
Figure BDA0004169753350000104
分别是第c层的下边缘表示和下边缘分支对下边缘表示第c层的预测；
双重边缘互补损失Lcom定义为：
Figure BDA0004169753350000105
其中
Figure BDA0004169753350000106
Figure BDA0004169753350000107
分割预测与边缘回归预测间一致性损失Lcon定义为：
Figure BDA0004169753350000108
在实施例中，w1＝10，w2＝w3＝w4＝1；
视网膜11层分别为神经纤维层(NFL)、神经节细胞层(GCL)、内丛状细胞层(IPL)、内核层(INL)、外丛状细胞(OPL)、外核层(ONL)、外部限制膜(ELM)、类肌区(MZ)、椭圆区(EZ)、交叉区(IZ)和视网膜色素上皮(RPE)；
MTDBA-Net模型训练过程中使用RMSProp优化器，初始学习率设为1e-8，权重衰减系数为0.5，epoch数目为50；
步骤4：通过训练好的模型实现眼底OCT图像视网膜分层。
对于新采集的OCT待分割图像，首先采用min-max归一化方法进行处理，而后将其输入已训练网络中获得分割分支的预测结果即为最终视网膜分层结果。
图5为本发明实施例有病灶OCT图像视网膜分割效果图。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (5)

1.一种基于双重边缘表示的眼底OCT图像视网膜分层方法，其特征在于，包括以下步骤：
步骤1：数据集获取及预处理；
步骤2：构建基于双重边缘表示的眼底OCT图像视网膜分层模型MTDBA-Net；
步骤3：使用灰度归一化训练图像和人工标注结果及双重边缘表示训练提出的MTDBA-Net；
步骤4：通过训练好的模型实现眼底OCT图像视网膜分层。
2.根据权利要求1所述的一种基于双重边缘表示的眼底OCT图像视网膜分层方法，其特征在于，步骤1具体方法如下：
获取训练用眼科OCT图像，并对图像进行人工视网膜层标注以及灰度归一化处理，归一化函数如下：
Figure FDA0004169753340000011
其中x是原始强度值，
Figure FDA0004169753340000012
是归一化以后的值。
3.根据权利要求2所述的一种基于双重边缘表示的眼底OCT图像视网膜分层方法，其特征在于，步骤2具体方法如下：
所述基于双重边缘表示的眼底OCT图像视网膜分层模型MTDBA-Net为多任务三分支结构，主要由4个部分构成：共享特征提取器、执行分割任务的主分支、执行上边缘表示的上分支以及执行下边缘表示回归任务的下分支；
共享特征提取器采用基于U-net的网络架构，其编码部分采用vgg16,解码部分只保留了前2次上采样所对应的网络架构；三分支结构都共享上述的共享特征提取器，将输入图像经共享特征提取器后的输出作为三分支结构的输入；
所述的主分支包含解码器和分割预测结构两个部分；其中解码器包含三层，每层由3x3卷积，BatchNorm,ReLu构成；分割预测结构由1x1卷积层和softmax函数构成；
所述的上分支由3个部分构成：解码器，边缘预测结构以及上边缘表征模块；边缘预测结构由1x1卷积层和sigmoid函数构成的边缘预测结构以及上边缘表征模块；
所述的下分支由3个部分构成：解码器、边缘预测结构和下边缘表征模块；其中主、上、下三个分支中的解码器结构相同但参数不共享；上、下分支中的边缘预测结构相同但参数并不共享；
上、下边缘表征模块的上、下边缘表征获取，根据如下公式计算：
Figure FDA0004169753340000021
Figure FDA0004169753340000022
其中：
Figure FDA0004169753340000023
Figure FDA0004169753340000024
其中，
Figure FDA0004169753340000025
和/>
Figure FDA0004169753340000026
分别表示视网膜内像素点到所属视网膜层上边缘/下边缘的最小欧氏距离；GTc表示视网膜分层标注属于第c层的像素集合；/>
Figure FDA0004169753340000031
和/>
Figure FDA0004169753340000032
分别表示GTc中像素的上边缘和下边缘；||x-y||表示像素点x和y之间的欧氏距离，min表示最小距离。
4.根据权利要求3所述的一种基于双重边缘表示的眼底OCT图像视网膜分层方法，其特征在于，步骤3具体方法如下：
所述MTDBA-Net损失函数采用提出的联合一致性损失；
所述MTDBA-Net网络首先将步骤1预处理的图像送入三分支共享的共享特征提取器中；而后三分支接收来自共享特征提取器中的特征分别进行分支特征的学习；接着利用主分支的分割预测结构(SPred)对分割结果进行预测，并使用分割损失Lseg对预测结果进行监督；分别利用上、下分支的边缘预测结构(BPred)以及上、下边缘表征模块的上、下边缘表征对上、下分支的边缘预测结果进行预测，并分别使用边缘回归损失Lbd对预测的上、下分支的边缘结果进行监督；为了利用视网膜每层的上、下边缘信息，将上分支和下分支的预测结果进行融合得到更加细致的融合边界信息的预测结果；然后，使用双重边缘互补损失Lcom对融合边界信息的预测结果进行监督；最后，还需要将主分支和上、下分支的边缘预测结果利用一致性损失Lcon来约束语义表达一致性；
所述MTDBA-Net网络总体损失函数其具体定义如下：
Ltotal＝w1Lseg+w2Lbd+w3Lcom+w4Lcon
其中Lseg表示分割损失，Lbd为边缘回归损失，Lcom为双重边缘互补损失，Lcon为分割预测与边缘回归预测间一致性损失；w1、w2、w3和w4是用于平衡不同损失的超参数；分割损失Lseg采用Diceloss，定
义为：
Figure FDA0004169753340000041
其中GTc和
Figure FDA0004169753340000042
分别是视网膜分层标注第c层的结果和分割分支对视网膜第c层的预测结果；
边缘回归损失Lbd包含上边缘损失和上边缘损失，两者均采用MSEloss，定义如下：
Figure FDA0004169753340000043
其中是
Figure FDA0004169753340000044
和/>
Figure FDA0004169753340000045
分别是第c层的上边缘表示和上边缘分支对上边缘表示第c层的预测，
Figure FDA0004169753340000046
和/>
Figure FDA0004169753340000047
分别是第c层的下边缘表示和下边缘分支对下边缘表示第c层的预测；
双重边缘互补损失Lcom定义为：
Figure FDA0004169753340000048
其中
Figure FDA0004169753340000049
Figure FDA00041697533400000410
分割预测与边缘回归预测间一致性损失Lcon定义为：
Figure FDA00041697533400000411
5.根据权利要求4所述的一种基于双重边缘表示的眼底OCT图像视网膜分层方法，其特征在于，步骤4具体方法如下：
对于新采集的OCT待分割图像，首先采用min-max归一化方法进行处理，而后将其输入已训练网络中获得分割分支的预测结果即为最终视网膜分层结果。
CN202310374298.1A 2023-04-10 2023-04-10 一种基于双重边缘表示的眼底oct图像视网膜分层方法 Pending CN116363145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310374298.1A CN116363145A (zh) 2023-04-10 2023-04-10 一种基于双重边缘表示的眼底oct图像视网膜分层方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310374298.1A CN116363145A (zh) 2023-04-10 2023-04-10 一种基于双重边缘表示的眼底oct图像视网膜分层方法

Publications (1)

Publication Number Publication Date
CN116363145A true CN116363145A (zh) 2023-06-30

Family

ID=86921616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310374298.1A Pending CN116363145A (zh) 2023-04-10 2023-04-10 一种基于双重边缘表示的眼底oct图像视网膜分层方法

Country Status (1)

Country Link
CN (1) CN116363145A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563414A (zh) * 2023-07-11 2023-08-08 天津博霆光电技术有限公司 基于oct的心血管成像颤影消除方法及设备
CN118096769A (zh) * 2024-04-29 2024-05-28 中国科学院宁波材料技术与工程研究所 一种视网膜oct图像的分析方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563414A (zh) * 2023-07-11 2023-08-08 天津博霆光电技术有限公司 基于oct的心血管成像颤影消除方法及设备
CN116563414B (zh) * 2023-07-11 2023-09-12 天津博霆光电技术有限公司 基于oct的心血管成像颤影消除方法及设备
CN118096769A (zh) * 2024-04-29 2024-05-28 中国科学院宁波材料技术与工程研究所 一种视网膜oct图像的分析方法及装置

Similar Documents

Publication Publication Date Title
CN109448006B (zh) 一种注意力机制u型密集连接视网膜血管分割方法
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
CN116363145A (zh) 一种基于双重边缘表示的眼底oct图像视网膜分层方法
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN111986211A (zh) 一种基于深度学习的眼科超声自动筛查方法及系统
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN115205300A (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
Hervella et al. Multi-modal self-supervised pre-training for joint optic disc and cup segmentation in eye fundus images
Subramanian et al. Classification of retinal oct images using deep learning
CN115760586A (zh) 一种基于多尺度注意力生成对抗网络的医学图像增强方法
CN117315258A (zh) 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法
CN110415245A (zh) 眼部数据确定方法、模型训练方法及设备
García et al. Glaucoma detection from raw circumpapillary OCT images using fully convolutional neural networks
Zeng et al. Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network
CN114549520A (zh) 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
Liu et al. Semi-supervised automatic layer and fluid region segmentation of retinal optical coherence tomography images using adversarial learning
CN114938952A (zh) 基于先验因果模型的血红蛋白浓度预测方法
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
CN110503636A (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
Wang et al. Self-guided optimization semi-supervised method for joint segmentation of macular hole and cystoid macular edema in retinal OCT images
CN111145901B (zh) 深静脉血栓溶栓疗效预测方法及系统、存储介质与终端
CN116309631A (zh) 基于深度学习的糖网病眼底图像自动分割方法
Fu et al. Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation
CN114693622A (zh) 一种基于人工智能的斑块侵蚀自动检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication