CN111696109A - 面向视网膜oct三维影像的高精度层分割方法 - Google Patents
面向视网膜oct三维影像的高精度层分割方法 Download PDFInfo
- Publication number
- CN111696109A CN111696109A CN202010451707.XA CN202010451707A CN111696109A CN 111696109 A CN111696109 A CN 111696109A CN 202010451707 A CN202010451707 A CN 202010451707A CN 111696109 A CN111696109 A CN 111696109A
- Authority
- CN
- China
- Prior art keywords
- retina
- image
- oct
- training
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 210000001525 retina Anatomy 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012800 visualization Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000002087 whitening effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 79
- 238000012014 optical coherence tomography Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 28
- 238000005070 sampling Methods 0.000 description 23
- 230000002207 retinal effect Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000012792 core layer Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 210000004358 rod cell outer segment Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向视网膜OCT三维影像的高精度层分割方法，包括以下步骤：S1、将原始图像以及标签图作为训练样本库；S2、将训练样本库中的原始图像以及标签图分为训练集、验证集和测试集，并进行样本预处理；S3、构建3DRetina网络模型；S4、将训练集输入至3DRetina网络模型中进行模型训练，然后通过验证集对3DRetina网络模型进行更新迭代，得到训练后的3DRetina网络模型；S5、将测试集输入至3DRetina网络模型中，输出预测的体数据结果；S6、将S5中的体数据结果进行切片，并进行通道合并与灰度填充，得到可视化效果。与现有技术相比，能够避免人工分隔各层所出现的误差问题，从而提高了分层的准确度。
Description
技术领域
本发明涉及一种医学领域的检测技术，特别涉及一种面向视网膜OCT三维影像的高精度层分割方法。
背景技术
光学相干断层扫描(optical coherence tomography,OCT)是一种非入侵、实时、微米分辨率的成像工具，十分适合检查眼底神经组织，特别是频域SD-OCT的出现，相比传统的时域OCT极大地提高了测量重复性，已成为临床眼科诊断的重要手段。对视网膜OCT影像的定量分析能够测量视网膜各层的厚度、视盘与视杯面积、杯盘比和盘沿面积等重要视盘参数，对眼科疾病的诊断和治疗评估有着极大的帮助。
由于OCT影像易受斑点噪声影响，且相邻断层间的对比度很小，精确的视盘分割变得困难。目前，临床上视盘参数的获取高度依赖于医生经验，不同年资的医生手动标记结果一致性差，严重阻碍了眼科精确诊疗技术的发展。故采用工程的方法应对OCT影像的分割问题是时下流行的选择。
现有的OCT图像分割方法主要基于传统图像处理方法，如Gawish等人提出的基于活动轮廓图像的分割方法，它在一定程度上提高了抗噪声性能和精确度，但是这种算法的时间复杂度高，且对轮廓的初始位置较为敏感，分割结果也不够精确；Michael等人提出了基于分类器的分割方法，精度目前已提高至2个像素以内，但这种方法在训练分类器时需要大量标注图像，而OCT图像标注难度大，要求高，很难得到大量精确标注的数据；Hussain等人提出了基于3D图搜索的方法，精度提升至1个像素，但这类方法容易受到噪声和图像退化的影响。
由于这些问题的存在，许多研究者开始尝试使用深度学习的方法进行分层算法问题研究，在一定程度上弥补了传统算法的不足。但由于面向的仍是OCT二维图像切片，而这些图像来源于OCT三维体数据，对二维图像的研究无法充分利用其三维空间信息，有着一定局限与不足之处。
因此，有必要设计一种面向视网膜OCT三维影像的高精度层分割方法。
发明内容
本发明的目的在于提供一种面向视网膜OCT三维影像的高精度层分割方法，要解决的技术问题是提高分层的准确度。
为解决上述问题，本发明采用以下技术方案实现：一种面向视网膜OCT三维影像的高精度层分割方法，包括以下步骤：
步骤S1、采集视网膜OCT三维的影像数据样本，影像样本数据进行切片得到原始图像，对原始图像进行分层标注后的标签图，将原始图像以及标签图作为训练样本库；
步骤S2、将训练样本库中的原始图像以及标签图分为训练集、验证集和测试集，并对训练样本库中的所有原始图像进行样本预处理；
步骤S3、构建3DRetina网络模型；
步骤S4、将训练集输入至3DRetina网络模型中进行模型训练，然后通过验证集对3DRetina网络模型进行更新迭代，调整3DRetina网络模型的模型参数直至迭代达到预设次数后，得到训练后的3DRetina网络模型；
步骤S5、将测试集输入至3DRetina网络模型中，输出预测的体数据结果；
步骤S6、将步骤S5中的体数据结果进行切片，并进行通道合并与灰度填充，得到可视化效果。
进一步地，所述步骤S2中对训练样本库中的二维OCT图像以及所对应的标签图进行H5文件格式转换。
进一步地，所述3DRetina网络模型包括两个部分，分别是编码器阶段与解码器阶段；所述编码器阶段1个输入层、10个卷积层、4个最大池化层；解码器阶段包括4个上采样层、8个卷积层、4个拼接层、1个输出层。
进一步地，所述编码器阶段和解码器阶段中卷积层的卷积核尺寸为3×3×3，所述卷积核步长为1×1×1。
进一步地，所述解码阶段中上采样层中转置卷积核尺寸为3×3×3，转置卷积核步长为2×2×2。
进一步地，所述步骤S4中，在每100次模型训练后进行一次模型验证。
进一步地，所述步骤S1具体包括将采集到的体数据按x轴方向切片得到二维OCT图像，然后对二维OCT图像进行分层标注后得到标签图，将原始图像以及标签图作为训练样本库。
进一步地，所述步骤S2中样本预处理包括图像均值处理、图像PCA白化以及数据降维。
进一步地，所述步骤S4在训练过程中，采用初始学习率为1e-3的Adam优化器更新模型的模型参数。
进一步地，所述步骤S6具体为使用基于VTK的计算机图形和三维可视化库，对每组预测的体数据结果进行了多通道合并与灰度填充，生成视网膜3D分割结果的2D切片；以单眼为单位，对每一张切片进行排列、设置间距与插值，在调整光线和阈值后进行展示。
本发明与现有技术相比，通过采集视网膜OCT三维影像数据(体数据)并对该体数据进行切片形成二维OCT图像后进行分层标注作为训练样本库，对训练样本库中的数据进行划分为训练集、验证集以及测试集后对这些数据集进行图像处理后得到HDF5格式的处理后数据，将训练集输入至3DRetina网络模型(模型)中进行模型训练，根据训练结果对3DRetina网络模型中的超参数进行调整，当达到迭代次数后结束训练并通过验证集对该模型进行验证，当达到预设值时，结束得到训练后的模型；当未到达预设值时，则通过训练集重新训练，直到达到预设值；最后将测试集输入值该训练后的模型中进行预测，得到预测的体数据结果，将该预测的体数据结果进行切片并进行通道合并于灰度填充，从而得到最终的具有标注的分割图；通过上述方法，能够避免人工分隔各层所出现的误差问题，从而提高了分层的准确度。
附图说明
图1是本发明方法流程图。
图2是本发明中3DRetina的网络结构示意图。
图3是采集的单个视网膜OCT三维样本的完整128帧切片示意图。
图4-1是使用本方法后视网膜OCT三维样本的9层分割实验结果，随机抽取的连续三帧的原始图像一。
图4-2是使用本方法后视网膜OCT三维样本的9层分割实验结果，随机抽取的连续三帧的原始图像二。
图4-3是是使用本方法后视网膜OCT三维样本的9层分割实验结果，随机抽取的连续三帧的原始图像三。
图5-1是图4-1的人工标签图。
图5-2是图4-2的人工标签图。
图5-3是图4-3的人工标签图。
图6-1是图4-1通过本发明预测后得到的预测的体数据结果。
图6-2是图4-2通过本发明预测后得到的预测的体数据结果。
图6-3是图4-3通过本发明预测后得到的预测的体数据结果。
图7-1是可视化效果(三维重建)的第一个视角示意图。
图7-2是可视化效果(三维重建)的第二个视角示意图。
图7-3是可视化效果(三维重建)的第三个视角示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，本发明公开了一种面向视网膜OCT三维影像的高精度层分割方法，包括以下步骤：
步骤S1、采集视网膜OCT三维的影像数据样本(体数据)，具体地，将采集到的若干体数据按x轴方向切片得到二维OCT图像(原始图像)(图3、图4-1、图4-2、图4-3所示，其中图4-1、图4-2和图4-3为连续三帧的原始图像)，然后对二维OCT图像进行分层标注后得到标签图(图5-1、图5-2和图5-3所示)，将原始图像以及标签图作为训练样本库；
所述体数据的获得通过使用德国卡尔蔡司Cirrus HD-OCT系统，以黄斑立方扫描(Macular Cube)512×128模式收集体数据，该模式是在一个6×6×2mm的立方体内执行128次水平横向扫描(B-scans)，生成128张连续序列帧，并作为二维OCT图像进行保存，其相邻两个二维OCT图像间隔为46.875um，图像分辨率为587×391，格式为PNG，位深度为24，通道数为3。
人体的视网膜可分割的层间结构除外界膜(external limiting membrane，ELM)之外有九层，从外到内依次包括了视网膜神经纤维层(retinal nerve fiber layer，RNFL)、神经节细胞层(ganglion cell layer，GCL)、内丛状层(inner plexiform layer，IPL)、内核层(inner nuclear layer，INL)、外丛状层(outer plexiform layer，OPL)、外核层(outer nuclear layer，ONL)、锥杆细胞内节(inner segments，IS)、锥杆细胞外节(outsegments，OS)和视网膜色素上皮层(retinal pigment epithelium，RPE)。
由于黄斑立方扫描模式较低的成像清晰度，样本中外界膜层变得十分模糊且难以区分，人工标注难以进行。专家认为分割该层的临床意义不大，所以我们只进行至多9层的分割。
本发明筛选出11520张用于模型训练，对视网膜进行9层层间结构的精确标定，最终完成建立训练样本库。
步骤S2，将训练样本库中的原始图像以及标签图分为训练集、验证集和测试集，并对训练样本库中的所有原始图像进行样本预处理。为了便于管理训练样本库的图像，使计算机可以更加高效地调用训练样本库中来自同一体数据的二维OCT图像，对训练样本库中来自不同体数据的二维OCT图像以及所对应的标签图采用现有技术进行格式转换，转换为H5文件格式；所述样本预处理包括图像均值处理、图像PCA白化以及数据降维。由于图像中相邻的像素高度相关，输入数据有一定冗余，PCA算法可以将输入向量转换为一个维数低很多的近似向量，而且误差非常小，可以消除数据之间的冗余性。此做法引入的近似误差很小，却可以显著提升算法的运行速度。体数据的白化可在现有2D数据白化算法的基础上改进实现。
步骤S3、构建3DRetina网络模型(模型)；
本发明中3DRetina网络模型在架构上与2D U-Net网络模型类似，其主要构成方法采用了Encoder-Decoder结构，收缩路径与扩张路径之间利用了串联拼接的SkipConnection方式连接浅层(low level)特征图与深层的特征图。
如图2所示，所述3DRetina网络模型包括两个部分，分别是编码器(特征提取)阶段与解码器(预测图重建)阶段。第一阶段是编码器阶段，编码器阶段的作用是从样本数据包的一组二维OCT图像中提取出浅层特征，并通过不断的卷积操作将浅层特征进行排列组合，从而形成抽象的、高层次、带有语义信息的特征图。
所述编码器阶段包括15层，具体为：
1个输入层(Input)；
10个卷积层Conv(Conv1～Conv10)，每层卷积层由卷积、批量标准化(BatchNormalization，BN)、整流线性单元(激活函数)组成；所述卷积核尺寸为3×3×3，所述卷积核步长为1×1×1，所述整流线性单元采用LeakyReLU函数，整体表示为Conv+BN+ReLU；
4个最大池化层Pool(Max_pool2、Max_pool4、Max_pool6、
Max_pool8)。
在编码器阶段中，每一组二维OCT图像会经过卷积层与最大池化层而将特征图长、宽缩小至原来的1/2，面积缩小至原来的1/4，其作用是在尽可能保证特征图数据的同时压缩数据和参数的量，减小过拟合，然后通过卷积层(Conv10)获得其特征图，再将该特征图传送到解码器(预测图重建)阶段。
解码器阶段，主要功能是将在特征提取阶段被缩小的特征图还原为与训练数据库中标签图相同图像尺寸的预测标签图。这个阶段包括17个层，具体为：
4个上采样层up-Conv(Upsampling1～Upsampling4)，每层上采样层由转置卷积、批量标准化(Batch Normalization，BN)、整流线性单元(激活函数)组成。所述转置卷积核尺寸为3×3×3，转置卷积核步长为2×2×2，所述整流线性单元采用LeakyReLU函数；
8个卷积层Conv(Conv11～Conv18)，配置同Conv1～Conv10；
4个拼接层Concat(Concat with Conv8、Concat with Conv6、Concat withConv4、Concat with Conv2)；
1个输出层(Out)，使用的卷积核尺寸为1×1×1。
在解码器阶段中，把缩小的特征图，通过多次的上采样(转置卷积)操作，最后将特征图还原到与样本数据包中标签图相同尺寸与通道数的预测标签图，通道数也就是视网膜三维分割的目标层数，在本发明中目标层数为10(包含背景)。
在模型初始化方式上，对于模型中每层中所有的权重均采用了he_normal初始化，在输出层中采用了标准正态分布随机数来进行权重初始化，其中标准差设置为0.05。
下面对模型做详细的说明：
所述模型中编码器(特征提取)阶段包括一个输入层，输入尺寸为512×512×128×3；
第一卷积层(Conv1)，特征图数量为16；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME(卷积之后输出的特征图尺寸保持不变，下同)；紧跟一个批量标准化操作及LeakyReLU函数；
第二卷积层(Conv2)，特征图数量为16；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
经过一个最大池化层(Max_pool2)，池化方法pool为MAX，最大池化；过滤器大小为3，步长为2；
第三卷积层(Conv3)，特征图数量为32；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第四卷积层(Conv4)，特征图数量为32；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
经过一个最大池化层(Max_pool4)，池化方法pool为MAX，最大池化；过滤器大小为3，步长为2；
第五卷积层(Conv5)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第六卷积层(Conv6)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
经过一个最大池化层(Max_pool6)，池化方法pool为MAX，最大池化；过滤器大小为3，步长为2；
第七卷积层(Conv7)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第八卷积层(Conv8)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
经过一个最大池化层(Max_pool8)，池化方法pool为MAX，最大池化；过滤器大小为3，步长为2；
第九卷积层(Conv9)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第十卷积层(Conv10)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
所述3Dretina网络模型中解码器(预测图重建)阶段包括第一转置卷积层(Upsampling1)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为2×2×2，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
紧跟一个拼接层，连接Upsampling1和Conv8，拼接后特征图数量为128；
第十一卷积层(Conv11)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第十二卷积层(Conv12)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第二转置卷积层(Upsampling2)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为2×2×2，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
紧跟一个拼接层，连接Upsampling2和Conv6，拼接后特征图数量为128；
第十三卷积层(Conv13)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第十四卷积层(Conv14)，特征图数量为64；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第三转置卷积层(Upsampling3)，特征图数量为32；卷积核尺寸为3×3×3，卷积核步长为2×2×2，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
紧跟一个拼接层，连接Upsampling3和Conv4，拼接后特征图数量为64；
第十五卷积层(Conv15)，特征图数量为32；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第十六卷积层(Conv16)，特征图数量为32；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第四转置卷积层(Upsampling4)，特征图数量为16；卷积核尺寸为3×3×3，卷积核步长为2×2×2，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
紧跟一个拼接层，连接Upsampling4和Conv2，拼接后特征图数量为32；
第十七卷积层(Conv17)，特征图数量为16；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
第十八卷积层(Conv18)，特征图数量为16；卷积核尺寸为3×3×3，卷积核步长为1×1×1，采样的操作方式为SAME；紧跟一个批量标准化操作及LeakyReLU函数；
最后是一个输出层，输出预测图尺寸为512×512×128×10。
步骤S4、将训练集输入至3DRetina网络模型中进行模型训练，然后通过验证集对模型进行验证(迭代)，调整模型参数，直至迭代达到预设次数(预设次数为7200次)后，得到训练后的模型；每进行100次模型训练后进进行一次模型的验证。
训练过程中，采用初始学习率为1e-3的Adam优化器更新模型的模型参数，并使用learning rate decay策略来适应较大的初始学习率，这么做可以显着提高Adam的表现，使得系统可以收敛到某些锐利的最小值。因为Adam具有自适应学习率的特征，无法像SGD那样简单使用学习率乘数表，最终选用了ReduceLROnPlateau方法调整学习率，它可以通过其回调函数检测指标的情况，在评价指标不在提升时，自动减少学习率。设置patience＝10，factor＝0.1，代表模型若在patience个epoch后未有性能提升，学习率将以lr＝lr×factor的形式被减少，同时不设置学习率下限。同时，将batch size设置为1，epoch设置为20。
整个训练是在显存为11G的NVIDIA Geforce GTX 1080ti显示卡，八核心@3.40GHz的CPU，16G内存的台式电脑，与TensorFlow深度学习框架上运行。总共进行7200次迭代，每100次迭代触发一次验证集与测试集，通过将测试集输入至训练好的模型中进行模型验证，调整模型参数，监控模型是否发生过拟合(以决定是否停止训练)，通过测试集评估最终模型泛化能力，以测试集性能为指标保存最优的模型；
步骤S5、将测试集输入至模型中，输出预测的体数据结果(图6-1、图6-2和图6-3所示)；
步骤S6、将步骤S5中的体数据结果进行切片，并进行通道合并与灰度填充，得到可视化效果(图7-1、图7-2和图7-3所示)；具体地，使用基于VTK的计算机图形和三维可视化库，对每组预测的体数据结果进行了多通道合并与灰度填充，生成视网膜3D分割结果的2D切片。以单眼为单位，对每一张切片进行排列、设置间距与插值，在调整光线和阈值后进行展示。
本发明可以实现视网膜分层自动分割，由于考虑到了三维OCT影像数据的连续性，利用其空间信息，打破了对二维图像研究的局限与不足之处，在评估视网膜形态上具有优势。该方法在有效提高临床医生的工作效率的同时，也可通过三维重建可视化的方式展示与量化视网膜各层的厚度、视盘与视杯面积、杯盘比和盘沿面积等重要视盘参数，为临床医生的诊断提供更多数据。
Claims (10)
1.一种面向视网膜OCT三维影像的高精度层分割方法，其特征在于：包括以下步骤：
步骤S1、采集视网膜OCT三维的影像数据样本，影像样本数据进行切片得到原始图像，对原始图像进行分层标注后的标签图，将原始图像以及标签图作为训练样本库；
步骤S2、将训练样本库中的原始图像以及标签图分为训练集、验证集和测试集，并对训练样本库中的所有原始图像进行样本预处理；
步骤S3、构建3DRetina网络模型；
步骤S4、将训练集输入至3DRetina网络模型中进行模型训练，然后通过验证集对3DRetina网络模型进行更新迭代，调整3DRetina网络模型的模型参数直至迭代达到预设次数后，得到训练后的3DRetina网络模型；
步骤S5、将测试集输入至3DRetina网络模型中，输出预测的体数据结果；
步骤S6、将步骤S5中的体数据结果进行切片，并进行通道合并与灰度填充，得到可视化效果。
2.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S2中对训练样本库中的二维OCT图像以及所对应的标签图进行H5文件格式转换。
3.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述3DRetina网络模型包括两个部分，分别是编码器阶段与解码器阶段；所述编码器阶段1个输入层、10个卷积层、4个最大池化层；解码器阶段包括4个上采样层、8个卷积层、4个拼接层、1个输出层。
4.根据权利要求3所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述编码器阶段和解码器阶段中卷积层的卷积核尺寸为3×3×3，所述卷积核步长为1×1×1。
5.根据权利要求3所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述解码阶段中上采样层中转置卷积核尺寸为3×3×3，转置卷积核步长为2×2×2。
6.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S4中，在每100次模型训练后进行一次模型验证。
7.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S1具体包括将采集到的体数据按x轴方向切片得到二维OCT图像，然后对二维OCT图像进行分层标注后得到标签图，将原始图像以及标签图作为训练样本库。
8.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S2中样本预处理包括图像均值处理、图像PCA白化以及数据降维。
9.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S4在训练过程中，采用初始学习率为1e-3的Adam优化器更新模型的模型参数。
10.根据权利要求1所述的面向视网膜OCT三维影像的高精度层分割方法，其特征在于：所述步骤S6具体为使用基于VTK的计算机图形和三维可视化库，对每组预测的体数据结果进行了多通道合并与灰度填充，生成视网膜3D分割结果的2D切片；以单眼为单位，对每一张切片进行排列、设置间距与插值，在调整光线和阈值后进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451707.XA CN111696109A (zh) | 2020-05-25 | 2020-05-25 | 面向视网膜oct三维影像的高精度层分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451707.XA CN111696109A (zh) | 2020-05-25 | 2020-05-25 | 面向视网膜oct三维影像的高精度层分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111696109A true CN111696109A (zh) | 2020-09-22 |
Family
ID=72478252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010451707.XA Pending CN111696109A (zh) | 2020-05-25 | 2020-05-25 | 面向视网膜oct三维影像的高精度层分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696109A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508919A (zh) * | 2020-12-11 | 2021-03-16 | 北京大恒普信医疗技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN113792783A (zh) * | 2021-09-13 | 2021-12-14 | 陕西师范大学 | 一种基于深度学习的和面阶段自动识别方法及系统 |
| CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685533A (zh) * | 2009-08-18 | 2010-03-31 | 清华大学深圳研究生院 | 眼底oct图像的视神经纤维层自动分割方法 |
| CN102860814A (zh) * | 2012-08-24 | 2013-01-09 | 深圳市斯尔顿科技有限公司 | 一种oct合成眼底图视盘中心定位方法及设备 |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| CN110991511A (zh) * | 2019-11-26 | 2020-04-10 | 中原工学院 | 一种基于深度卷积神经网络的向日葵作物种子分拣方法 |
| CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
-
2020
- 2020-05-25 CN CN202010451707.XA patent/CN111696109A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685533A (zh) * | 2009-08-18 | 2010-03-31 | 清华大学深圳研究生院 | 眼底oct图像的视神经纤维层自动分割方法 |
| CN102860814A (zh) * | 2012-08-24 | 2013-01-09 | 深圳市斯尔顿科技有限公司 | 一种oct合成眼底图视盘中心定位方法及设备 |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| CN110991511A (zh) * | 2019-11-26 | 2020-04-10 | 中原工学院 | 一种基于深度卷积神经网络的向日葵作物种子分拣方法 |
| CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508919A (zh) * | 2020-12-11 | 2021-03-16 | 北京大恒普信医疗技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN113792783A (zh) * | 2021-09-13 | 2021-12-14 | 陕西师范大学 | 一种基于深度学习的和面阶段自动识别方法及系统 |
| CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
| CN114638807B (zh) * | 2022-03-22 | 2023-10-20 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111696109A (zh) | 面向视网膜oct三维影像的高精度层分割方法 | |
| CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN110503630A (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| CN112950643B (zh) | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 | |
| Zhu et al. | Semantic segmentation using deep learning to extract total extraocular muscles and optic nerve from orbital computed tomography images | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| CN110265119A (zh) | 骨龄评估与身高预测模型、其系统及其预测方法 | |
| CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
| CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
| CN115578783B (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN112132801A (zh) | 一种基于深度学习的肺大泡病灶检测方法及系统 | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| CN112633416A (zh) | 一种融合多尺度超像素的脑ct图像分类方法 | |
| Liu et al. | Semi-supervised automatic layer and fluid region segmentation of retinal optical coherence tomography images using adversarial learning | |
| CN113554668B (zh) | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| US11974811B2 (en) | Detecting avascular and signal reduction areas in retinas using neural networks | |
| CN116452593B (zh) | 血管性认知障碍的ai评估模型的构建方法、装置及系统 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115762787B (zh) | 一种眼睑疾病手术疗效评估方法和系统 | |
| Thanh et al. | A Real-Time Classification Of Glaucoma from Retinal Fundus Images Using AI Technology | |
| CN113902738A (zh) | 一种心脏mri分割方法及系统 | |
| CN111210436B (zh) | 晶状体分割方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231117 |