CN115330663A - 眼前节oct图像中巩膜镜和泪液镜边界分割方法 - Google Patents

眼前节oct图像中巩膜镜和泪液镜边界分割方法 Download PDF

Info

Publication number
CN115330663A
CN115330663A CN202111485159.3A CN202111485159A CN115330663A CN 115330663 A CN115330663 A CN 115330663A CN 202111485159 A CN202111485159 A CN 202111485159A CN 115330663 A CN115330663 A CN 115330663A
Authority
CN
China
Prior art keywords
layer
channels
convolution
path
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111485159.3A
Other languages
English (en)
Inventor
沈梅晓
余祥乐
施策
姜珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Medical University
Original Assignee
Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Medical University filed Critical Wenzhou Medical University
Priority to CN202111485159.3A priority Critical patent/CN115330663A/zh
Publication of CN115330663A publication Critical patent/CN115330663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其包括构建分割网络模型，其中网络结构基于改进U型网络，包括编码器模块、残差模块、空洞卷积模块和解码器模块，其中残差模块和空洞卷积模块设置于编码器模块的编码路径中，用于进行下采样捕捉全局信息以及局部信息，U型网络和残差块中的跳跃连接有助于信息从低层次特征传播到高层次特征，并保留更多细节边界信息，另外残差块作为构建单元，简化了训练过程，通过级联方式进行叠加，有助于我们从原始图像中提取边界轮廓粗特征和边缘细节特征。通过空洞卷积块的设置，可以在不增加计算量的基础上实现卷积感受野的增大，从而提升边界探测精度和分割时效性。

Description

眼前节OCT图像中巩膜镜和泪液镜边界分割方法
技术领域
本发明涉及图像处理分析技术领域，具体涉及一种眼前节OCT图像中巩膜镜和泪液镜的分割方法。
背景技术
巩膜镜是一种不接触角膜及角巩膜缘，完全由巩膜及其上方的结膜组织所支撑的特殊硬性透氧型接触镜。其特殊的设计使其完全“越过”(Vaulting) 角膜角巩膜缘，在镜下形成的“泪液镜”能够稳定覆盖因角膜结构改变而导致的大范围不规则表面，人为重塑规则光学表面，改善眼睛光学系统。近年来迅速发展的高透氧性新型材料及个性化巩膜镜设计技术，进一步推动了现代巩膜镜在临床以及产业的发展,成为近五年该领域最受关注的方向之一。众多研究和临床实践表明巩膜镜治疗是安全有效的疑难屈光矫治手段，已成为许多国家不规则角膜非手术治疗的首选方式。此外，有报道指出，巩膜镜可在一定程度上延缓圆锥角膜的进展，推迟患者移植手术的需求。
巩膜镜在眼佩戴后泪液镜三维厚度分布(thickness map)是评估巩膜镜适配是否良好的重要指标之一。常规临床采用裂隙灯获取某一截面，由医生主观评估泪液镜的厚度，无法获取三维和定量的泪液镜厚度分布，给验配评估带来困难。随着光学相干断层扫描技术(optical coherence tomography,OCT) 技术的进步，众多学者利用OCT技术获取巩膜镜在眼佩戴的三维扫描断层图像，辅助巩膜镜的适配。然而，现在大都是通过对图像的手动勾画处理获取泪液镜的厚度分布，不仅费时费力，还存在主观差异，在临床推广上受到严重限制。
过往已经开发了几种针对眼前节OCT图像分割的非机器学习算法：采用图论、快速主动轮廓和多项式拟合、Canny边缘检测、高斯混合模型和Haugh变换结合卡尔曼滤波的方法等，这些方法的缺点是它们依赖于特定的“特别”规则，比如图像灰度、空间纹理、几何形状等，导致在存在噪声和/或伪影的情况下分割性能和应用场景泛化能力较差。
目前，利用深度学习技术解决医学图像分割问题成为趋势。以U型网络为代表的卷积神经网络，采用了对称的编码器和解码器结构，并结合跳跃连接，在医学图像分割中发挥了重要的作用，但是传统U型网络对小目标的分割能力效果不佳，存在内部数据结构和空间层级话信息丢失以及小部位结构信息无法重建等问题，至今还没有一种基于U型网络的方法用于分割眼前节OCT图像中巩膜镜、泪液镜及整个角膜的报道。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种眼前节OCT图像中巩膜镜和泪液镜的分割方法。
为实现上述目的，本发明提供了如下技术方案：
一种眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其包括以下步骤：
1)构建分割网络模型，其包括具有多层编码路径的编码器模块及对应设置的具有多层解码路径的解码器模块，每一层编码路径及解码路径之间均设有卷积层，每一层编码路径均设有用于进行下采样捕捉信息并加深网络深度的残差模块及用于实现卷积感受野增大提取多尺度信息的空洞卷积模块；
2)采集不同情况角膜佩戴巩膜镜后的大量眼前节OCT三维图像，并将其分为训练集及验证集，将训练集输入上述分割网络模型进行训练，并通过验证集进行验证，经过多次训练，获得训练后的分割网络模型；
3)利用训练后的分割网络模型对待测眼前节OCT三维图像进行巩膜镜和泪液镜的上下边界进行预测，获取眼前节OCT三维图像中巩膜镜和泪液镜边界的精确分割结构，并计算泪液镜上下边界之间的厚度，通过三维重建，获取泪液镜三维厚度分布图。
所述编码路径为四层，且每一层之间通过stride＝2的卷积层连接。
不同层级的编码路径包含不同数量的残差模块。
不同层级的编码路径包含不同空洞率的孔洞卷积模块。
每一层编码路径均包括主干路线与分支路线，所述主干路线设有卷积层及与卷积层级联的残差模块，所述分支路线设有孔洞卷积模块，图像在经由主干路线及分支路线之后通过拼接获得特征图。
待测待测眼前节OCT三维图像分别输入编码路径第一层的主干及分支路线，所述编码路径第一层中的主干路线通过32通道7×7卷积层，并经过批量归一化和激活函数relu处理，在通过3个32通道3×3，stride＝1的卷积层级联的残差模块，而分支路线则是将待测待测眼前节OCT三维图像输入一个由空洞率为7的级联空洞卷积模块，然后进行激活函数relu处理，最后将经过主干和分支路线的两部分图像通过拼接方式连接，获得512×512,64通道数的特征图；
编码路径第二层的主干路线将编码路径第一层的输出作为输入，通过一个由64通道3×3，stride＝2的卷积层和3个64通道3×3，stride＝1的与卷积层级联的残差模块中，分支路线将编码路径第一层中的分支路线的输出作为输入，经过一个由空洞率为5级联而成的孔洞卷积模块中，随后将主干线路输出和分支线路输出拼接在一起，获得一个256×256,128通道的特征图；
编码路径第三次主干路线将编码路径第二层输出作为输入，通过一个由 128通道3x3，stride＝2的卷积层和5个128通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第二层中分支路线的输出作为输入，经过一个由空洞率为3级联而成的空洞卷积模块中，随后将主干路线输出和分支路线输出拼接在一起，得到一个128x128，256通道的特征图。
编码路径第四层主干路线将编码路径第三层输出作为输入，通过一个由 256通道3x3，stride＝2的卷积层和7个256通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第三层中分支路线的输出作为输入，经过一个由空洞率为2级联而成的空洞卷积模块中，随后将主干输出和分支输出拼接在一起，得到一个64x64，512通道的特征图。
所述编码路径与解码路径之间还设有中间层，所述中间层包括主干路线和分支路线，中间层主干路线将编码路径第四层输出作为输入，通过一个由512 通道3x3，stride＝2的卷积层和2个512通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第四层中分支路线的输出作为输入，经过一个由空洞率为1级联而成空洞卷积块中，随后将主干输出和分支输出拼接在一起，得到一个32x32，1024通道的特征图。
解码路径第一层将中间层的输出结果进行逆卷积得到64x64，512通道的特征图，随后将它与编码路径第四层的输出结果进行拼接得到64x64，1024 通道的特征图；
解码路径第二层将解码路径第一层的输出结果先经过两个512通道3x3的卷积块，后进行逆卷积得到128x128，256通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到128x128，512通道的特征图；
解码路径第三层将解码路径第二层的输出结果先经过两个256通道3x3的卷积块，后进行逆卷积得到256x256，128通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到256x256，256通道的特征图；
解码路径第四层将解码路径第三层的输出结果先经过两个128通道3x3的卷积块，后进行逆卷积得到512x512，64通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到512x512，128通道的特征图；
最后将输出结果先经过两个64通道3x3的卷积块，在将它输入到带有softmax激活函数的1×1卷积层，以获得整个图像区域中分割目标的概率映射。
解码路径中每一次经过卷积块之后，进行激活函数relu处理。
采用加权损失函数focal loss和dice相结合来解决因为在巩膜镜区域和泪液镜区域相比背景区域占比很小时产生的类不平衡问题。
本发明的有益效果：
1、基于残差模块和空洞卷积模块相结合的改进U型分割网络，具有效率高和边界分割精度高的优点，适用于眼前节OCT图像中巩膜镜、泪液镜及整个眼表边界的分割，分割性能良好，可为后续的量化分析奠定基础。
2、在U型网络中结合了残差模块和空洞卷积模块，在训练数据的选取了包含了各种角膜(正常角膜和不规则角膜)佩戴巩膜镜后的大量眼前节图像，保证了模型应用的稳定性
附图说明
图1是本申请实施例中的网络结构的示意图。
图2(a)和图2(b)是本发明的残差模块和空洞卷积模块结构设计的示意图。
图3为本发明的眼前节OCT图像中巩膜镜和泪液镜边界分割算法中训练数据的示意图。
图4为本发明的眼前节OCT图像中巩膜镜和泪液镜边界分割算法中金标准的示意图。
图5为本发明的眼前节OCT图像中巩膜镜和泪液镜分割算法边界分割结果示意图。
图6为列举不同方法的PVD结果。
图7为列举了不同方法不同表面的PVD对比结果。
图8为列举了不同方法的dice系数结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其包括以下步骤：
1)构建分割网络模型，其包括具有多层编码路径的编码器模块及对应设置的具有多层解码路径的解码器模块，每一层编码路径及解码路径之间均设有卷积层，每一层编码路径均设有用于进行下采样捕捉全局信息以及局部信息的残差模块及用于实现卷积感受野增大的空洞卷积模块；
网络结构包括编码器模块、残差模块、空洞卷积模块和解码器模块，其中残差模块和空洞卷积模块设置于编码器模块的编码路径中，用于进行下采样捕捉全局信息以及局部信息，U-net和残差块中的跳跃连接有助于信息从低层次特征传播到高层次特征，并保留更多细节边界信息，另外残差模块作为构建单元，简化了训练过程，通过级联方式进行叠加，有助于从原始图像中提取边界轮廓粗特征和边缘细节特征。通过空洞卷积模块的设置，可以在不增加计算量的基础上实现卷积感受野的增大，从而提升边界探测精度和分割时效性。
其中，所述编码路径为四层，每层都包括残差模块和空洞卷积模块，层与层之间通过stride＝2的卷积层进行下采样降低图片分辨率，扩大感受野。残差模块由两个3x3的卷积层组成，编码路径的不同层级包含不同数量的残差模块，分别是3，4，6，8，3。所述的空洞卷积模块由两个空洞卷积级联而成，编码路径的不同层级包含不同空洞率的空洞卷积，分别是[7，7]，[5，5],[3，3],[2， 2],[1，1]。
每一层编码路径均包括主干路线与分支路线，待测待测眼前节OCT三维图像分别输入编码路径第一层的主干及分支路线，所述编码路径第一层中的主干路线通过32通道7×7卷积层，并经过批量归一化和激活函数relu处理，在通过3个32通道3×3，stride＝1的卷积层级联的残差模块，而分支路线则是将待测待测眼前节OCT三维图像输入一个由空洞率为7的级联空洞卷积模块，然后进行激活函数relu处理，最后将经过主干和分支路线的两部分图像通过拼接方式连接，获得512×512,64通道数的特征图；
编码路径第二层的主干路线将编码路径第一层的输出作为输入，通过一个由64通道3×3，stride＝2的卷积层和3个64通道3×3，stride＝1的与卷积层级联的残差模块中，分支路线将编码路径第一层中的分支路线的输出作为输入，经过一个由空洞率为5级联而成的孔洞卷积模块中，随后将主干线路输出和分支线路输出拼接在一起，获得一个256×256,128通道的特征图；
编码路径第三次主干路线将编码路径第二层输出作为输入，通过一个由 128通道3x3，stride＝2的卷积层和5个128通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第二层中分支路线的输出作为输入，经过一个由空洞率为3级联而成的空洞卷积模块中，随后将主干路线输出和分支路线输出拼接在一起，得到一个128x128，256通道的特征图。
编码路径第四层主干路线将编码路径第三层输出作为输入，通过一个由 256通道3x3，stride＝2的卷积层和7个256通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第三层中分支路线的输出作为输入，经过一个由空洞率为2级联而成的空洞卷积模块中，随后将主干输出和分支输出拼接在一起，得到一个64x64，512通道的特征图。
所述编码路径与解码路径之间还设有中间层，所述中间层包括主干路线和分支路线，中间层主干路线将编码路径第四层输出作为输入，通过一个由512 通道3x3，stride＝2的卷积层和2个512通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第四层中分支路线的输出作为输入，经过一个由空洞率为1级联而成空洞卷积块中，随后将主干输出和分支输出拼接在一起，得到一个32x32，1024通道的特征图。
解码路径第一层将中间层的输出结果进行逆卷积得到64x64，512通道的特征图，随后将它与编码路径第四层的输出结果进行拼接得到64x64，1024 通道的特征图；
解码路径第二层将解码路径第一层的输出结果先经过两个512通道3x3的卷积块，后进行逆卷积得到128x128，256通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到128x128，512通道的特征图；
解码路径第三层将解码路径第二层的输出结果先经过两个256通道3x3的卷积块，后进行逆卷积得到256x256，128通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到256x256，256通道的特征图；
解码路径第四层将解码路径第三层的输出结果先经过两个128通道3x3的卷积块，后进行逆卷积得到512x512，64通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到512x512，128通道的特征图；
最后将输出结果先经过两个64通道3x3的卷积块，在将它输入到带有 softmax激活函数的1×1卷积层，以获得整个图像区域中分割目标的概率映射。
而眼前节OCT图像分割问题中存在一个类不平衡问题，即巩膜镜区域和泪液镜区域相比背景区域占比很小，该类不平衡问题会导致神经网络在背景区域检测中表现良好，而在巩膜镜区域和泪液镜区域表现不佳。采用加权损失函数 focal loss和dice相结合来解决这一问题，损失函数包括强调目标区域像素的权重或为背景区域引入缩放因子，它们可以有效地解决训练过程中数据类型不平衡的问题。
dice公式如下：
Figure RE-GDA0003892693010000081
其中pred为预测值的集合，true为真实值的集合，分子为pred和true之间的交集，乘以2是因为分母存在重复计算pred和true之间的共同元素的原因，分母为pred和true的并集。
focal loss公式如下：FL(pt)＝-αt(1-pt)γlog(pt)，
其中γ取2，α取0.25。
另外考虑到它们的值不平衡，最终损失函数为FL+0.2Dice。
2)采集不同情况角膜佩戴巩膜镜后的大量眼前节OCT三维图像，并将其分为训练集、验证集及测试集，将训练集输入上述分割网络模型进行训练，并通过验证集进行验证，经过多次训练，获得训练后的分割网络模型，并通过测试集对其进行测试，确认训练后的分割网络模型的准确性；
在采集到大量眼前节OCT三维图像之后，首先要对三维图像进行预处理，如获取共1217张图片，其中的928张图片作为训练集，229张作为验证集，60 张分为两组作为测试集。图像均有专业医师通过MIT Licensed LabelMe软件进行标注。共标注四个界面分别为：空气-巩膜镜上表面，巩膜镜下表面-泪液镜上表面，泪液镜下表面-角膜上表面，角膜下表面-前房。
所有的数据在送入模型训练之前，都会经过预处理，预处理步骤先获取通过LabelMe软件勾画的四个界面的坐标，然后将标签图每个位置都填充灰度值为0的值，再以上闭下开的形式，通过四个界面的坐标，填充不同颜色，最终获得区域标签图。最后将原图和区域标签图都通过最邻近插值的形式，缩放至 512×512。
而对于模型的训练，使用Python语言编写，在Keras框架下运行调试。实验硬件使用两块NVIDIA NVIDA TITAN RTX显卡，显存容量一共为48GB，并使用GPU对模型训练进行加速。训练过程中采用学习率为0.0001的Adam优化器对网络中的权重参数进行优化.每训练完一次数据，就在验证集上进行验证，保存在验证集上分割性能最高的模型参数。另外，采用学习速率调度器， ReduceLROnPlateau函数里的参数factor设为0.8，patience设为5，也就是当训练时的loss值在五次迭代过程中没有下降，则学习率衰减为原来的0.8 倍。使用了早停器，将EarlyStopping函数的参数patience设为100，表示当 loss值在100次迭代中均未下降，则停止训练。
数据增强方面我们采用水平和竖直方向随机移动，随机的放大，随机的对图片进行水平翻转等操作来进行数据扩增。
3)利用训练后的分割网络模型对待测眼前节OCT三维图像进行巩膜镜和泪液镜的上下边界进行预测，获取眼前节OCT三维图像中巩膜镜和泪液镜边界的精确分割结构，并计算泪液镜上下边界之间的厚度，通过三维重建，获取泪液镜三维厚度分布图。
在对比试验中，我们采用Dice系数和pixel-value difference(以下简称PVD) 两个评价指标。在对比试验中，将本发明方法与另外三种网络进行比较，其中两种方法是基于U-net网络的分割方法，包括空洞卷积U-net、残差卷积U-net，另外一种是、传统U-net。图6列举不同方法的PVD结果，图7列举了不同方法不同表面的PVD对比结果，图8列举了不同方法的dice系数结果。
其中对于PVD来讲，在分类的结果中，一共获得四条边界，分别是巩膜镜上表面，巩膜镜下表面，角膜上表面以及角膜下表面。对于一副图像，以左下角为零点，长为X轴，宽为Y轴建立直角坐标系，其中Y真实代表在这一x 值下真实点的y坐标，Y预测代表在这一x值下预测点的y坐标，像素距离差就等于Y真实和Y预测的差值绝对值(由公式1表示)。因此我们用PVD-0 表示像素距离差在0到2个像素(不包含2个像素)，PVD-1表示像素距离差在2到5个像素，(包括2个像素，不包括5个像素)，PVD-2表示像素距离差在5到8个像素(同上)，PVD-3表示像素距离差大于等于8个像素。
像素距离差＝∣Y真实-Y预测∣ (1)
dice公式如下：
Figure RE-GDA0003892693010000101
其中pred为预测值的集合，true为真实值的集合，分子为pred和true之间的交集，乘以2是因为分母存在重复计算pred和true之间的共同元素的原因，分母为pred和true的并集。
结果如图6至图8所示.
由图6和图7可知，在对比实验中，我们通过计算预测像素点和真实像素点的距离来反映网络的可靠性。在传统U-Net基础上分别增加空洞模块和残差模块，其预测结果反而比传统的U-Net更差。而通过我们的方式进行搭建的基于U-Net的网络，除了角膜上表面稍微比U-Net高了一些，其它都优于另外三种网络。
由图8可知，我们方法的dice系数分别为0.98209，0.94744，0.97101，与 DU-Net相比，dice系数增加了0.340％，0.716％，0.264％，与原始的U-net网络相比分别增加了0.473％，0.395％，0.706％，与RESU-Net网络相比分别增加了0.649％，1.343％，0.431％，说明了本发明的网络具有更高的性能。
实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (10)

1.一种眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：其包括以下步骤：
1)构建分割网络模型，其包括具有多层编码路径的编码器模块及对应设置的具有多层解码路径的解码器模块，每一层编码路径及解码路径之间均设有卷积层，每一层编码路径均设有用于进行下采样捕捉信息并加深网络深度的残差模块及用于实现卷积感受野增大提取多尺度信息的空洞卷积模块；
2)采集不同情况角膜佩戴巩膜镜后的大量眼前节OCT三维图像，并将其分为训练集及验证集，将训练集输入上述分割网络模型进行训练，并通过验证集进行验证，经过多次训练，获得训练后的分割网络模型；
3)利用训练后的分割网络模型对待测眼前节OCT三维图像进行巩膜镜和泪液镜的上下边界进行预测，获取眼前节OCT三维图像中巩膜镜和泪液镜边界的精确分割结构，并计算泪液镜上下边界之间的厚度，通过三维重建，获取泪液镜三维厚度分布图。
2.根据权利要求1所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：所述编码路径为四层，且每一层之间通过stride＝2的卷积层连接。
3.根据权利要求1或2所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：不同层级的编码路径包含不同数量的残差模块。
4.根据权利要求1或2所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：不同层级的编码路径包含不同空洞率的孔洞卷积模块。
5.根据权利要求1或2所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：每一层编码路径均包括主干路线与分支路线，所述主干路线设有卷积层及与卷积层级联的残差模块，所述分支路线设有孔洞卷积模块，图像在经由主干路线及分支路线之后通过拼接获得特征图。
6.根据权利要求5所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：
待测待测眼前节OCT三维图像分别输入编码路径第一层的主干及分支路线，所述编码路径第一层中的主干路线通过32通道7×7卷积层，并经过批量归一化和激活函数relu处理，在通过3个32通道3×3，stride＝1的卷积层级联的残差模块，而分支路线则是将待测待测眼前节OCT三维图像输入一个由空洞率为7的级联空洞卷积模块，然后进行激活函数relu处理，最后将经过主干和分支路线的两部分图像通过拼接方式连接，获得512×512,64通道数的特征图；
编码路径第二层的主干路线将编码路径第一层的输出作为输入，通过一个由64通道3×3，stride＝2的卷积层和3个64通道3×3，stride＝1的与卷积层级联的残差模块中，分支路线将编码路径第一层中的分支路线的输出作为输入，经过一个由空洞率为5级联而成的孔洞卷积模块中，随后将主干线路输出和分支线路输出拼接在一起，获得一个256×256,128通道的特征图；
编码路径第三次主干路线将编码路径第二层输出作为输入，通过一个由128通道3x3，stride＝2的卷积层和5个128通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第二层中分支路线的输出作为输入，经过一个由空洞率为3级联而成的空洞卷积模块中，随后将主干路线输出和分支路线输出拼接在一起，得到一个128x128，256通道的特征图。
编码路径第四层主干路线将编码路径第三层输出作为输入，通过一个由256通道3x3，stride＝2的卷积层和7个256通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第三层中分支路线的输出作为输入，经过一个由空洞率为2级联而成的空洞卷积模块中，随后将主干输出和分支输出拼接在一起，得到一个64x64，512通道的特征图。
7.根据权利要求6所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：所述编码路径与解码路径之间还设有中间层，所述中间层包括主干路线和分支路线，中间层主干路线将编码路径第四层输出作为输入，通过一个由512通道3x3，stride＝2的卷积层和2个512通道3x3，stride＝1的与卷积层级联的残差模块中，分支路线中将编码路径第四层中分支路线的输出作为输入，经过一个由空洞率为1级联而成空洞卷积块中，随后将主干输出和分支输出拼接在一起，得到一个32x32，1024通道的特征图。
8.根据权利要求7所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：
解码路径第一层将中间层的输出结果进行逆卷积得到64x64，512通道的特征图，随后将它与编码路径第四层的输出结果进行拼接得到64x64，1024通道的特征图；
解码路径第二层将解码路径第一层的输出结果先经过两个512通道3x3的卷积块，后进行逆卷积得到128x128，256通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到128x128，512通道的特征图；
解码路径第三层将解码路径第二层的输出结果先经过两个256通道3x3的卷积块，后进行逆卷积得到256x256，128通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到256x256，256通道的特征图；
解码路径第四层将解码路径第三层的输出结果先经过两个128通道3x3的卷积块，后进行逆卷积得到512x512，64通道的特征图，随后将它与编码路径第三层的输出结果进行拼接得到512x512，128通道的特征图；
最后将输出结果先经过两个64通道3x3的卷积块，在将它输入到带有softmax激活函数的1×1卷积层，以获得整个图像区域中分割目标的概率映射。
9.根据权利要求8所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：解码路径中每一次经过卷积块之后，进行激活函数relu处理。
10.根据权利要求1所述的眼前节OCT图像中巩膜镜和泪液镜边界分割方法，其特征在于：采用加权损失函数focal loss和dice相结合来解决因为在巩膜镜区域和泪液镜区域相比背景区域占比很小时产生的类不平衡问题。
CN202111485159.3A 2021-12-07 2021-12-07 眼前节oct图像中巩膜镜和泪液镜边界分割方法 Pending CN115330663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111485159.3A CN115330663A (zh) 2021-12-07 2021-12-07 眼前节oct图像中巩膜镜和泪液镜边界分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111485159.3A CN115330663A (zh) 2021-12-07 2021-12-07 眼前节oct图像中巩膜镜和泪液镜边界分割方法

Publications (1)

Publication Number Publication Date
CN115330663A true CN115330663A (zh) 2022-11-11

Family

ID=83912843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111485159.3A Pending CN115330663A (zh) 2021-12-07 2021-12-07 眼前节oct图像中巩膜镜和泪液镜边界分割方法

Country Status (1)

Country Link
CN (1) CN115330663A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051619A (zh) * 2023-01-16 2023-05-02 深圳市眼科医院(深圳市眼病防治研究所) 基于深度学习的泪河高度测量装置及方法
CN116883669A (zh) * 2023-08-03 2023-10-13 深圳扬奇医芯智能科技有限公司 一种基于动态注意力联邦框架的多目标分割技术

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051619A (zh) * 2023-01-16 2023-05-02 深圳市眼科医院(深圳市眼病防治研究所) 基于深度学习的泪河高度测量装置及方法
CN116051619B (zh) * 2023-01-16 2023-11-21 深圳市眼科医院(深圳市眼病防治研究所) 基于深度学习的泪河高度测量装置及方法
CN116883669A (zh) * 2023-08-03 2023-10-13 深圳扬奇医芯智能科技有限公司 一种基于动态注意力联邦框架的多目标分割技术

Similar Documents

Publication Publication Date Title
CN109166126B (zh) 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN115330663A (zh) 眼前节oct图像中巩膜镜和泪液镜边界分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
Liu et al. Gradnet image denoising
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN111292338A (zh) 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN106446805B (zh) 一种眼底照中视杯的分割方法及系统
Baid et al. Detection of pathological myopia and optic disc segmentation with deep convolutional neural networks
CN115760586A (zh) 一种基于多尺度注意力生成对抗网络的医学图像增强方法
CN114972365A (zh) 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用
CN113343943A (zh) 基于巩膜区域监督的眼部图像分割方法
CN117392156A (zh) 基于深度学习的巩膜镜oct图像泪液层分割模型和方法和设备
CN113724203B (zh) 应用于oct图像中目标特征分割的模型训练方法及装置
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
Zeng et al. Progressive feature fusion attention dense network for speckle noise removal in OCT images
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统
CN113223002A (zh) 一种血管图像分割方法
CN113192074A (zh) 一种适用于octa图像的动静脉自动化分割方法
CN116725563B (zh) 眼球突出度测量装置
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
CN115424319A (zh) 一种基于深度学习的斜视识别系统
CN115690389A (zh) 一种基于深度学习的白内障手术中角膜中心定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination