CN114170150B - 基于曲率损失函数的视网膜渗出液全自动分割方法 - Google Patents

基于曲率损失函数的视网膜渗出液全自动分割方法 Download PDF

Info

Publication number
CN114170150B
CN114170150B CN202111365113.8A CN202111365113A CN114170150B CN 114170150 B CN114170150 B CN 114170150B CN 202111365113 A CN202111365113 A CN 202111365113A CN 114170150 B CN114170150 B CN 114170150B
Authority
CN
China
Prior art keywords
retina
exudates
curvature
image
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111365113.8A
Other languages
English (en)
Other versions
CN114170150A (zh
Inventor
许夏瑜
徐峰
邢岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Xi'an Jiaotong University Zhejiang
Xian Jiaotong University
Original Assignee
Research Institute Of Xi'an Jiaotong University Zhejiang
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Xi'an Jiaotong University Zhejiang, Xian Jiaotong University filed Critical Research Institute Of Xi'an Jiaotong University Zhejiang
Priority to CN202111365113.8A priority Critical patent/CN114170150B/zh
Publication of CN114170150A publication Critical patent/CN114170150A/zh
Application granted granted Critical
Publication of CN114170150B publication Critical patent/CN114170150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于曲率损失函数的视网膜渗出液全自动分割方法。在对原始OCT图像的预处理中进行了层分割、Bruch膜位置矫正和图像展平、邻近B‑scan串联；将预处理后的图像输入增强多金字塔注意力编解码网络进行预测；将预测结果反变换。本发明在视网膜渗出液分割处理流程中充分应用了视网膜渗出液的病理特性和几何特征，具有全自动、高精度、轻量级的特点，在临床上为wAMD的诊疗带来极大帮助。

Description

基于曲率损失函数的视网膜渗出液全自动分割方法
技术领域
本发明属于计算机辅助诊断领域，涉及视网膜渗出液全自动分割方法。
背景技术
湿性老年黄斑变性(wet age-related macular degeneration，wAMD)是老年人致盲的首要原因，其主要特点为视网膜外屏障破坏、视网膜渗出液形成水肿，因此诊断wAMD的重要指标是视网膜渗出液的体积。高分辨率、无侵入性三维光学相干层析成像(opticalcoherence tomography，OCT)使得精确量化视网膜渗出液的体积成为可能。液体的量化需要液体区域的分割结果，然而通过医生手动分割OCT图像中的视网膜渗出液区域费时费力，极大的加重了眼科医生的负担。相对于一般的医学图像分割任务，OCT图像信噪比低、对比度低并且含有的医生标注的数据极度缺乏，使得训练出能够准确分割视网膜渗出液区域的分割模型非常困难。
目前针对视网膜渗出液的分割方法中，通过多层卷积神经网络可以对图像中的每个像素点进行所属类别的预测，然后进行后处理以消除分割模型预测结果中一些明显不合常理的错误：(1)鉴于液体之中不可能存有空洞，对于部分预测结果中含有空洞的区域给予填充；(2)鉴于液体具有流通性，不可能在同一封闭区域出现两种液体，而两种不同种类的液体也不会直接接触，并且在病理学上视网膜下液(SRF)往往位于色素上皮脱落(PED)的上方，对于在同一区域内出现两种渗出液的情况，将包含在一种液体之内的另一种液体强制转换为外层液体的种类，并将全部位于PED之下的SRF转换为PED，以及将全部位于SRF之上的PED转化为SRF。但是由于分割方法自身的不足(例如仅仅是把渗出液的分割当作一个普通的图像分割任务，忽略了渗出液的病理特性和几何特征)，即便通过后处理消除了一些错误，仍然存在着分割精度低的问题。除此之外，分割模型训练过程难度大以及分割模型的参数量巨大，不仅对计算机的硬件要求高、增加部署的成本，也容易影响医生的使用体验。
发明内容
本发明的目的在于提供一种基于曲率损失函数的视网膜渗出液全自动分割方法。
为实现上述目的，本发明采用了以下技术方案：
一种视网膜渗出液全自动分割方法，包括以下步骤：
1)将视网膜OCT图像进行预处理，得到包含渗出液区域的视网膜重构图像，并保存反映视网膜重构图像与视网膜OCT图像间像素位置关系的索引；
2)将步骤1)得到的视网膜重构图像输入基于曲率损失函数的卷积神经网络分割模型，并由该分割模型输出对不同类别渗出液在视网膜重构图像中的对应像素位置的预测结果；
3)根据步骤1)存储的索引，将步骤2)得到的预测结果进行反变换，得到视网膜渗出液分割图像。
优选的，所述步骤1)中，预处理具体包括以下步骤：将视网膜OCT图像经视网膜层分割及Bruch膜位置矫正后以Bruch膜轨迹凸包下边界的三阶曲线拟合结果为基准通过像素点空间位置变动及裁剪进行图像展平处理，然后采用邻近B-scan串联合成渗出液区域突出的图像(即视网膜重构图像)。
优选的，所述视网膜层分割所得膜结构包括内界膜(ILM)、Bruch膜及位于这两种膜结构之间的其他膜结构。
优选的，所述Bruch膜位置矫正中，通过采用薄板样条插值法并结合凸包算法调整视网膜层分割所得Bruch膜的对应像素位置，从而将渗出液区域完整纳入Bruch膜与内界膜之间。
优选的，所述步骤2)中，基于曲率损失函数的卷积神经网络分割模型是通过对增强多金字塔注意力编解码网络进行训练，并在训练阶段进行网络优化时采用曲率损失函数作为目标函数而得到的(曲率损失函数仅用于训练)。
优选的，所述曲率损失函数表示为：
其中
或/>
α表示曲率损失正则项的权重因子，N表示输入至网络的图像的像素总数，K表示类别个数，分别表示第l类别渗出液的Dice损失函数、交叉熵损失函数、曲率损失正则项，ωl表示第l类别渗出液的曲率权重因子，Ti、Pi分别表示真值图中第i个像素的真实类别、预测概率，/>和/>分别表示在第i个像素上的预测曲率和真实曲率，ε为常数。
优选的，所述增强多金字塔注意力编解码网络是集多尺度、深度监督、注意力机制于一体的低参数量U-Net网络。
优选的，所述增强多金字塔注意力编解码网络的训练集总数据量为2000～3000，初始学习率设置为0.001～0.0001，每次迭代送入8～16张图像，总共训练60～80轮。
优选的，所述步骤2)中，渗出液的类别包括视网膜内液(IRF)、视网膜下液(SRF)及色素上皮脱落(PED)。
一种视网膜渗出液全自动分割系统，该系统包括预处理模块以及分割模块；
所述预处理模块用于根据输入的视网膜OCT图像合成包含渗出液区域的视网膜重构图像；预处理模块的具体处理流程参见上述步骤1)；
所述分割模块用于利用基于曲率损失函数的卷积神经网络分割模型获得对不同类别渗出液在视网膜重构图像中的对应像素位置的预测结果，并将该预测结果根据反映视网膜重构图像与输入的视网膜OCT图像间像素位置关系的索引进行反变换；分割模块的具体处理流程参见上述步骤2)和3)。
本发明的有益效果体现在：
本发明在视网膜OCT图像预处理和训练获得分割模型的过程中结合了视网膜渗出液的病理特性和几何特征，使得用于分割多种渗出液的网络在训练过程中收敛更快，分割结果中轮廓和渗出液边缘的贴合紧密、区域完整，从而实现了渗出液的全自动、高精度、轻量级分割。
进一步的，本发明通过将凸包算法和薄板样条插值法结合，有效修正了视网膜层分割算法所得Bruch膜的位置，避免在针对含有PED这一类别的渗出液的病例进行分割时出现Bruch膜位置错位的现象。
进一步的，本发明利用渗出液位于ILM和Bruch膜之间的病理特性，对位于ILM和矫正后Bruch膜之间的图像区域信息，根据由Bruch膜的位置拟合得到的三阶曲线对图像进行了展平的操作，极大减少了背景的面积，缓解了类间不均衡度对训练过程和分割结果的影响。除此之外，图像间的结构性差异得以降低，使得网络在训练过程中更加专注于分辨视网膜内渗出液和其他组织间的不同。
进一步的，本发明首次将渗出液区域的几何特征(即曲率)应用到网络的损失函数中。曲率作为一个二阶微分信息可以更好的反映一个区域的形态属性并有效降低信息冗余。通过对分割目标区域的曲率进行限制，不仅可以抑制零碎的小区域、确定边界的具体位置、与真值轮廓的贴合更加紧密，还可以降低液体分割中的渗出液类别混淆错误。
附图说明
图1为本发明实施例中基于曲率损失函数的视网膜渗出液全自动分割方法的流程图。
图2为预处理流程的演示图；其中：(a)视网膜层分割，(b)Bruch膜位置矫正，(c)图像展平和邻近B-scan串联。
图3为增强多金字塔注意力编解码网络的结构示意图；图中数字为每层特征图的数量。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述。所述实施例仅用于解释本发明，而非对本发明保护范围的限制。
如图1所示，基于曲率损失函数的视网膜渗出液全自动分割方法具体包括以下步骤：
步骤一：对视网膜原始OCT图像进行预处理，突出渗出液区域以降低类间不均衡性并降低不同图像间结构的差异性以及降低训练时的计算开销，还可以利用3D上下文信息。该预处理步骤包含3个部分，依次为视网膜层分割、Bruch膜位置矫正、图像展平和邻近B-scan串联合成伪彩色图像。
1.1视网膜层分割
本发明使用爱荷华大学提出的11层视网膜层分割算法对原始OCT图像进行了粗分割。在图2(a)中，从上到下依次为所得视网膜的11层膜结构，第一层为内界膜(ILM)，最下一层为Bruch膜，渗出液中的视网膜下液(SRF)区域位于RPE(视网膜色素上皮层)之上，渗出液中的色素上皮脱落(PED)区域的绝大部分则分布在RPE之下。
1.2 Bruch膜位置校正
从图2(a)可以明显看出，层分割所得Bruch膜未能包含PED，为此首先分别计算OCT卷(对应一个OCT图像)中每个B-scan(共128个B-scan)的Bruch膜轨迹的凸包并使用三阶曲线拟合该凸包的下边界，标记该曲线(即上述下边界)上与原来轨迹(即上述Bruch膜轨迹)距离小于4～8像素(例如5像素)的点，接着在每个B-scan中随机选择40个经过标记的点(有效的坐标点)并使用薄板样条插值法拟合全部经过标记的点，公式为：
其中，(x,y,z)表示随机选取的点的坐标，选取的点的数量为B-scan数量的40倍，R2表示整个薄板区域(128×40)。
通过最小化弯曲能量不仅从整卷的视角拟合了Bruch膜表面，通过随机采样也降低了插值所需时间，加快了拟合速度，矫正前、后的Bruch膜轨迹分别如图2(b)中的黑线、白线所示。之后仅摘取上下两个表面内(即ILM和矫正后Bruch膜之间)的图像信息，其余部分像素点灰度值皆置为零。
1.3图像展平和邻近B-scan串联合成伪彩色图像
OCT图像中视网膜的整体结构较为相似，都呈现出多层堆叠的膜结构，但是由于采集角度、人体生理结构差异等诸多原因，相当一部分数据中视网膜在图像中呈现倾斜的走向，无形中增大了图像之间的差异性。为进一步降低图像结构的差异性并尽可能减小背景所占的比例，本发明在每个B-scan中使用三阶曲线拟合Bruch膜轨迹凸包的下边界，并以此为基准向下移动图像的每一列实现对图像实现“展平”的效果，移动的距离为拟合曲线经过对应列上的点与拟合曲线最高点的纵坐标差值的绝对值，同时保存变换的索引信息，即像素点移动前后位置的映射关系，接着就可以裁剪出有信息的部分，并将邻接B-scan合成一幅2D伪彩色图像，最终每个B-scan预处理之后的结果(每一个B-scan的预处理之后的结果是由该B-scan与其前后各一个B-scan合成的一幅2D伪彩色图像)如图2(c)所示。
步骤二：采用增强多金字塔注意力编解码网络和曲率损失函数对数据进行训练和测试。
2.1网络结构
如图3所示，本发明采用的增强多金字塔注意力编解码网络由编码器、空间金字塔池化(SPP)模块和解码器组成，总体近似对称，编码器的每个尺度下都由两个卷积层(Conv3×3.ReLu)和一个池化层(Max Pool 2×2)组成。为了补偿每个池化层之后特征空间细节的缺失，使用多尺度图像金字塔作为输入，将提取的特征直接与前一个尺度下池化的特征组合，可渐进式补充高维语义信息中的细节，有效缓解经过多个卷积层、池化层后带来的细节缺失的现象。本发明选用了前四个尺度，最小的尺度将原图(输入至网络的图像，其大小为第一个尺度)缩小了8倍。在编码器顶端的SPP模块，进一步提取多个尺度(空间分辨率依次为1,2,3,6)的特征并使之融合，从而捕捉全局上下文信息，有效应对区域特别大的渗出液。在解码器的对应每个尺度下都由一个反卷积层(Up-Conv 2×2)和三个卷积层组成(最后一个卷积层为Conv 1×1)，用于将高维的语义特征逐级映射到图像空间。
本发明在网络中引入了注意力机制，在相同尺度的编码器和解码器下，摒除了在U-Net中直接将同尺度下编码器的特征图串联到解码器上的操作，取而代之的是，使用解码阶段的高维语义特征图对编码阶段含有高分辨率细节信息的特征图先加权(利用AG)再组合(Copy)，仅补充该尺度下“必要”的局部特征，改善了直接组合带来的语义混淆。本发明在网络中引入了深度监督机制，在编码器的后四个尺度下都计算了损失，强迫网络的中间层在不同尺度下都有语义判别能力，可以有效加快网络的收敛速度。
上述增强多金字塔注意力编解码网络在原来U-Net的基础上集多尺度、深度监督、注意力机制于一体，在远远少于U-Net参数(减少了卷积核)的情况下实现了优于其的效果。
2.2曲率损失函数
曲率是用来衡量曲线的弯曲程度的参数，在图像中也常被用来表示边缘的弯曲特征，并且不会随着轮廓的大小改变。用U表示原始二维图像，其对应的曲率H可以近似表示为：
但以上这种传统的曲率估计方式需要计算二阶微分值。
Gong等基于欧拉定理提出的曲率估计方法为：
这种估计方法不仅计算量低、实现简单，经过比较，其在正确性上也不逊于传统的曲率估计方式。
相对于轮廓区域的一阶微分信息，曲率作为一个二阶微分信息可以更好的反映一个区域的形态属性并有效降低信息冗余，其不仅能表示边界，更能反映边界的弯曲属性。通过对分割目标区域的曲率进行限制，不仅可以抑制零碎的小区域、确定边界的具体位置、与真值轮廓的贴合更加紧密，还可以降低液体分割中的混淆错误。本发明提出的曲率损失函数的总体形式为：
其中
α∈(0,1)表示曲率损失正则项的权重因子，N表示输入至网络的图像的像素总数，K表示类别个数，ωl∈[0,1]表示类别l的曲率权重因子。表示基于逐像素点优化的损失函数，可以采用Dice损失函数/>交叉熵损失函数/>或者二者/>的组合，在实验中使用的是交叉熵损失函数/>和Dice损失函数/>的组合，二者/>的组合增加了对小目标的学习能力同时又增强了训练过程的稳定性。/>是曲率损失正则项，Ti∈{0,1}、Pi∈[0,1]分别表示真值图(训练中使用的一部分数据的真实结果)中像素i的真实类别、预测概率。Ω表示整个像素集，abs()表示绝对值函数，/>和/>分别表示在像素i上预测的曲率和真值的曲率(根据Gong等提出的曲率估计方法)。ε∈(0,1)为常数，用于保持训练时的稳定。
2.3采用增强多金字塔注意力编解码网络配合曲率损失函数训练可以分割三类渗出液的分割模型(包括数据准备、模型训练等部分)
2.3.1数据准备
使用公开的RETOUCH数据集，根据上述的预处理流程得到预处理后的每一幅图像，择取有渗出液区域的图像(即如果图像中没有显示出存在渗出液区域，则不会用到训练过程)并经过缩放后(统一训练图像的尺寸)作为进行分割模型训练的样本；
2.3.2模型训练
在训练阶段，本发明采用增强多金字塔注意力编解码网络，在网络优化的目标函数(损失函数)中采用上述曲率损失函数。
在关于视网膜渗出液的分割任务中，K＝4，即l的取值为1、2、3、4，并分别对应背景、IRF、SRF、PED。IRF主要位于视网膜内核层和外核层之间，表现为椭圆形，呈蜂窝状分布，区域众多，加上与其它两种病变(SRF、PED)在位置和形态上区别较为明显，故和背景一样，对二者(背景、IRF)的曲率权重因子皆设为0。但是SRF和PED在外观和纹理特征上极为相似，并且在部分SRF和PED都出现的病例中，SRF和PED仅以视网膜色素上皮层相隔，十分容易出现分割结果混淆现象，故把背景、IRF、SRF、PED各自的ω设为[0,0,0.5,0]。之所以没有对PED的曲率损失正则项进行加权，是因为在训练过程中，如果存在混淆SRF和PED的像素点，则每个像素点对于两类的隶属度都是有竞争性的，降低其对一类的归属度就可以增加对另一类的归属度，都进行限制反而起到相反的作用。
本发明采用了谷歌的Tensorflow 1.15实现对原始OCT图像预处理和渗出液分割，计算机核心设备为Intel酷睿i7 6700k CPU以及NVIDIAGeForce GTX 1080Ti GPU。从预处理获得的图像共有2895例，包含三个类别的渗出液：IRF、SRF和PED，训练过程中将图像大小缩放为384×384(预处理之后的图像需缩放至384×384后再输入网络进行训练)，仅采用水平翻转的方式扩增图像。初始学习率设置为0.0001，每次迭代送入8张图像，总共训练80轮。
2.3.3分割模型预测结果测试
根据RETOUCH组委会的测试要求，将训练得到的模型在测试集上进行了预测：
表1.测试结果
注：最后一行表示本发明得到的结果，其余表示其他不同团队的结果。
评估指标采用DSC和AVD(单位：mm3)，其定义为：
AVD＝abs(|X|-|Y|),
X和Y分别表示分割结果和真实结果，DSC衡量了预测结果和真实结果的重合度，值越大越好，而AVD衡量依据分割结果和真实结果所得渗出液体积的差异，值越小越好。
从表1可以看出，在DSC中本发明和SFU团队持平，都是0.767，但是本发明的AVD水平相较于SFU团队有了大幅提升，本发明的AVD为0.036mm3，相较于SFU团队的0.070mm3，低了将近50％。从模型参数来说，本发明的模型参数仅为7.8M，远低于SFU团队使用的31M参数的模型。
从测试结果看，本发明无需利用渗出液的先验病理信息对预测结果进行后处理。
步骤三：将预测的结果进行反变换。
由于在预处理中对训练图像的像素点进行了空间位置的变动并裁剪了部分图像，因此需要根据之前保存的变换索引信息对网络预测的结果进行反变换操作，得到与原始OCT图像相同尺寸的分割结果。
总之，本发明提出的基于曲率损失函数的视网膜渗出液全自动分割方法，在预处理过程中通过层分割等操作不仅有效缓解了类间不均衡性、数据结构的差异性，还有效利用了三维上下文信息。在模型训练阶段首次将几何特征(曲率信息)编码进分割模型的损失函数中，使得分割出来的区域更加完整、与真实轮廓的贴合更加紧密，液体分割中的混淆错误显著降低。并结合多金字塔注意力等机制提升了网络收敛速度、分割精度、可部署性。本发明将视网膜渗出液的病理特性和几何特征应用到渗出液分割的流程中，可以对视网膜OCT图像自动进行渗出液分割，分割模型体积小、训练速度快、分割结果准确，可用于实现全自动、高精度、轻量级的多类别渗出液分割系统的开发，从而便于临床部署及辅助诊断，为临床上wAMD的诊疗带来极大帮助。

Claims (6)

1.一种视网膜渗出液全自动分割方法，其特征在于：包括以下步骤：
1)将视网膜OCT图像进行预处理，得到包含渗出液区域的视网膜重构图像，并保存反映视网膜重构图像与视网膜OCT图像间像素位置关系的索引；
2)将步骤1)得到的视网膜重构图像输入基于曲率损失函数的卷积神经网络分割模型，并由该分割模型输出对不同类别渗出液在视网膜重构图像中的对应像素位置的预测结果；
3)根据步骤1)存储的索引，将步骤2)得到的预测结果进行反变换，得到视网膜渗出液分割图像；
所述步骤1)中，预处理具体包括以下步骤：将视网膜OCT图像经视网膜层分割及Bruch膜位置矫正后以Bruch膜轨迹凸包下边界的三阶曲线拟合结果为基准通过像素点空间位置变动及裁剪进行图像展平处理，然后采用邻近B-scan串联合成渗出液区域突出的图像，即视网膜重构图像；
所述Bruch膜位置矫正中，通过采用薄板样条插值法并结合凸包算法调整视网膜层分割所得Bruch膜的对应像素位置，从而将渗出液区域完整纳入Bruch膜与内界膜之间；
所述步骤2)中，基于曲率损失函数的卷积神经网络分割模型是通过对增强多金字塔注意力编解码网络进行训练，并在训练阶段进行网络优化时采用曲率损失函数作为目标函数而得到的；
所述曲率损失函数表示为：
其中
或/>
α表示曲率损失正则项的权重因子，N表示输入图像的像素总数，K表示类别个数， 分别表示第l类别渗出液的Dice损失函数、交叉熵损失函数、曲率损失正则项，ωl表示第l类别渗出液的曲率权重因子，Ti、Pi分别表示第i个像素的真实类别、预测概率，/>和/>分别表示在第i个像素上的预测曲率和真实曲率，ε为常数。
2.根据权利要求1所述一种视网膜渗出液全自动分割方法，其特征在于：所述视网膜层分割所得膜结构包括内界膜和Bruch膜。
3.根据权利要求1所述一种视网膜渗出液全自动分割方法，其特征在于：所述增强多金字塔注意力编解码网络是集多尺度、深度监督、注意力机制于一体的低参数量U-Net网络。
4.根据权利要求1所述一种视网膜渗出液全自动分割方法，其特征在于：所述增强多金字塔注意力编解码网络的训练集总数据量为2000～3000，初始学习率设置为0.001～0.0001，每次迭代送入8～16张图像，总共训练60～80轮。
5.根据权利要求1所述一种视网膜渗出液全自动分割方法，其特征在于：所述步骤2)中，渗出液的类别包括视网膜内液、视网膜下液及色素上皮脱落。
6.一种视网膜渗出液全自动分割系统，其特征在于：该系统包括预处理模块以及分割模块；
所述预处理模块用于根据视网膜OCT图像合成包含渗出液区域的视网膜重构图像，具体是将视网膜OCT图像经视网膜层分割及Bruch膜位置矫正后以Bruch膜轨迹凸包下边界的三阶曲线拟合结果为基准通过像素点空间位置变动及裁剪进行图像展平处理，然后采用邻近B-scan串联合成渗出液区域突出的图像，即视网膜重构图像；所述Bruch膜位置矫正中，通过采用薄板样条插值法并结合凸包算法调整视网膜层分割所得Bruch膜的对应像素位置，从而将渗出液区域完整纳入Bruch膜与内界膜之间；
所述分割模块用于利用基于曲率损失函数的卷积神经网络分割模型获得对不同类别渗出液在视网膜重构图像中的对应像素位置的预测结果，并将该预测结果根据反映视网膜重构图像与视网膜OCT图像间像素位置关系的索引进行反变换；
所述基于曲率损失函数的卷积神经网络分割模型是通过对增强多金字塔注意力编解码网络进行训练，并在训练阶段进行网络优化时采用曲率损失函数作为目标函数而得到的；
所述曲率损失函数表示为：
其中
或/>
α表示曲率损失正则项的权重因子，N表示输入图像的像素总数，K表示类别个数， 分别表示第l类别渗出液的Dice损失函数、交叉熵损失函数、曲率损失正则项，ωl表示第l类别渗出液的曲率权重因子，Ti、Pi分别表示第i个像素的真实类别、预测概率，/>和/>分别表示在第i个像素上的预测曲率和真实曲率，ε为常数。
CN202111365113.8A 2021-11-17 2021-11-17 基于曲率损失函数的视网膜渗出液全自动分割方法 Active CN114170150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111365113.8A CN114170150B (zh) 2021-11-17 2021-11-17 基于曲率损失函数的视网膜渗出液全自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111365113.8A CN114170150B (zh) 2021-11-17 2021-11-17 基于曲率损失函数的视网膜渗出液全自动分割方法

Publications (2)

Publication Number Publication Date
CN114170150A CN114170150A (zh) 2022-03-11
CN114170150B true CN114170150B (zh) 2023-12-19

Family

ID=80479509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111365113.8A Active CN114170150B (zh) 2021-11-17 2021-11-17 基于曲率损失函数的视网膜渗出液全自动分割方法

Country Status (1)

Country Link
CN (1) CN114170150B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943706B (zh) * 2022-05-27 2023-04-07 宁波艾腾湃智能科技有限公司 一种绝对二维空间状态下的平面作品或制品的防伪鉴证
CN115496917B (zh) * 2022-11-01 2023-09-26 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN111598894A (zh) * 2020-04-17 2020-08-28 哈尔滨工业大学 基于全局信息卷积神经网络的视网膜血管图像分割系统
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113610842A (zh) * 2021-08-27 2021-11-05 苏州大学 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111598894A (zh) * 2020-04-17 2020-08-28 哈尔滨工业大学 基于全局信息卷积神经网络的视网膜血管图像分割系统
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113610842A (zh) * 2021-08-27 2021-11-05 苏州大学 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯向丹 ; 赵一浩 ; 刘洪普 ; 郭鸿湧 ; 于习欣 ; 丁梦园 ; .融合残差注意力机制的UNet视盘分割.中国图象图形学报.2020,(第09期),全文. *
梅旭璋 ; 江红 ; 孙军 ; .基于密集注意力网络的视网膜血管图像分割.计算机工程.2020,(第03期),全文. *

Also Published As

Publication number Publication date
CN114170150A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN114170150B (zh) 基于曲率损失函数的视网膜渗出液全自动分割方法
CN107369160B (zh) 一种oct图像中脉络膜新生血管分割算法
CN112001960A (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN112435309A (zh) 一种基于深度学习的增强ct图像质量和分辨率的方法
WO2017036231A1 (zh) 从光学相干断层图像获取视网膜结构的方法及其系统
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN113570627B (zh) 深度学习分割网络的训练方法及医学图像分割方法
CN113205535B (zh) 一种x光片脊椎自动分割及标识方法
CN111968120A (zh) 一种3d多特征融合的牙齿ct图像分割方法
CN107146228A (zh) 一种基于先验知识的大脑磁共振图像超体素生成方法
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN109325955B (zh) 一种基于oct图像的视网膜分层方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN104168820B (zh) 图像处理装置及方法
CN109919954B (zh) 目标对象的识别方法和装置
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
CN115147709B (zh) 一种基于深度学习的水下目标三维重建方法
CN107610121B (zh) 一种肝脏统计形状模型初始位姿设定方法
CN114897694A (zh) 基于混合注意力和双层监督的图像超分辨率重建方法
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
CN116740170A (zh) 一种单目内窥镜视频深度与位姿估计方法
CN111696109A (zh) 面向视网膜oct三维影像的高精度层分割方法
CN116758087B (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230724

Address after: 710049 No. 28 West Xianning Road, Shaanxi, Xi'an

Applicant after: XI'AN JIAOTONG University

Applicant after: RESEARCH INSTITUTE OF XI'AN JIAOTONG University ZHEJIANG

Address before: 710049 No. 28 West Xianning Road, Shaanxi, Xi'an

Applicant before: XI'AN JIAOTONG University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant