CN108305241B - 基于深度投票模型的sd-oct图像ga病变分割方法 - Google Patents
基于深度投票模型的sd-oct图像ga病变分割方法 Download PDFInfo
- Publication number
- CN108305241B CN108305241B CN201710793834.6A CN201710793834A CN108305241B CN 108305241 B CN108305241 B CN 108305241B CN 201710793834 A CN201710793834 A CN 201710793834A CN 108305241 B CN108305241 B CN 108305241B
- Authority
- CN
- China
- Prior art keywords
- training
- layer
- voting
- segmentation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本发明公开了一种基于深度投票模型的SD‑OCT图像GA病变分割方法。该方法首先构造五层深度网络模型,第一层为输入层,第五层为输出层,隐含层由三层稀疏自编器构成。训练阶段,直接将具有1024维特征的带标记正负样本输入到深度网络模型中,通过无监督的三层自编码器捕获数据的深度描述特征,并通过训练输出层的soft‑max分类器获得最终的分割结果。最后,使用投票决策策略来改进十个训练模型的分割结果。该方法通过采用深度网络模型表达三维数据中的复杂数据结构,突破了传统方法对于图像层分割依赖的瓶颈,同时突破了传统方法对于不同来源数据的敏感性,实现了GA病变的高精度定量分析,对于老年黄斑变性疾病的预防和诊断具有重要的实际意义。
Description
技术领域
本发明涉及一种病变分割方法,特别是一种基于深度投票模型的频域光学相干断层视网膜图像地图状萎缩病变分割方法。
背景技术
视网膜疾病中的老年黄斑变性(Age-related Macular Degeneration, AMD)已经成为影响老年人健康和生活质量的主要疾病之一。SD-OCT视网膜图像是一种频域光学相干断层成像图像,它可以有效地呈现视网膜组织层的灰度和结构等变化,临床实验表明SD-OCT视网膜图像中能够显现越来越多的由AMD引起的视网膜病变组织,如玻璃疣、地图状萎缩、水肿、视网膜脱离等。由于SD-OCT视网膜图像特有的层状结构,导致传统的方法很难得到理想分析结果。由于GA通常与视网膜变薄和视网膜色素上皮层(Retinal PigmentEpithelium, RPE)和光感受器的丧失相关,早期的工作主要集中在RPE的厚度测量,其可以进一步用作GA病变的生物标志物,因此现有的GA分割方法主要在层分割的基础上进行处理。近几年主要出现了如下两种GA分割方法:
(1)基于层分割的半监督分割方法。该类方法首先对输入的SD-OCT图像进行层分割,在此基础上针对GA病变特性得到二维投影图像,然后采用半监督或者交互式的分割方法得到GA分割结果。
(2)基于层分割的无监督分割方法。该类方法在层分割的基础上获得二维投影图像,利用GA眼底图像的最大灰度信号获得GA的候选区域,并以此作为算法的初始值,实现了GA的自动无监督分割。
因此,由于SD-OCT图像特有的层状结构,现有的GA分割方法都是依赖于层分割的结果。然而,由于视网膜疾病通常会改变视网膜组织层结构,导致现有层分割方法很难获得理想的结果,进而影响最终的病变分割精度。
发明内容
本发明的目的在于提供一种基于不依赖于层分割的基于深度投票模型的频域光学相干断层(SD-OCT)视网膜图像的地图状萎缩(GA)病变分割新方法。
实现本发明目的的技术解决方案为:一种基于深度投票模型的SD-OCT视网膜图像地图状萎缩病变分割方法,包括以下步骤:
步骤1、采集SD-OCT视网膜图像;
步骤2、根据GA病变的标准数据集,获取标记样本;
步骤3、使用BM4D算法对三维SD-OCT视网膜进行去噪处理;
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果。
与现有技术相比,本发明的显著优点在于:通过采用深度网络模型表达三维数据中的复杂数据结构,在少量训练样本的前提下,突破了传统方法对于图像层分割依赖的瓶颈,同时突破了传统方法对于不同来源数据的敏感性,获得了较为理想的效果,大幅提高了GA病变的分割精度,对于老年黄斑变性疾病的预防和诊断具有重要的实际意义。
附图说明
图1是本发明基于深度投票模型的SD-OCT视网膜图像GA病变分割方法的流程图。
图2是SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式。左上为人眼的解剖结构图,右上为彩色眼底图像,右下为黄斑区域的三维SD-OCT图像,左下给出了三幅B-scan图像。
图3是SD-OCT视网膜图像GA病变的结构多样性示例。
图4是本发明的投票决策策略示例。
图5是本发明得到的GA分割结果示例图。
图6是三种方法得到的GA分割结果的比较示例图。
具体实施方式
下面结合附图对本发明作进一步描述。
结合图1,本发明的基于深度投票模型的SD-OCT视网膜图像GA病变分割方法包括以下步骤:
步骤1、采集SD-OCT视网膜图像,采用现有的OCT成像设备对视网膜图像进行采集。SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式如图2所示。
步骤2、根据GA病变的标准数据集,获取标记样本。
步骤3、使用BM4D算法对原始三维数据进行去噪处理。三维、二维和一维信号的去噪结果如图1所示。
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果。投票决策策略示例如图5所示。
步骤4中所述训练深度网络模型的具体方法为:
深度网络包含五层,分别为输入层、三层无监督的稀疏自编码器SparseAutoencoder以及一个输出层(Softmax分类器,区分GA区域与非GA区域);对于一个大小为512×128×1024的三维数据,将大小为512×128的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合标记结果,随机选取十万个正样本即GA病变像素和十万个负样本即正常组织像素构成一个模型的训练集,从而构建深度网络的输入层;中间层由三层无监督的稀疏自编码器组成,每一个自编码器都包含1024个结点;输出层为一个监督的Softmax分类器,将深度特征分为GA病变和非GA病变两类。训练阶段,直接将具有1024维特征的带标记正负样本输入到深度网络模型中,通过无监督的三层自编码器捕获数据的深度描述特征,并通过训练输出层的soft-max分类器获得最终的分割结果。最后,使用投票决策策略来改进十个训练模型的分割结果。
步骤5中重复步骤4训练获得十个深度网络模型,具体为:
重复步骤4十次,每次训练样本均为随机抽取,且训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%,从而训练十个不同的深度网络模型。
步骤6所述使用投票决策策略得到最终的分割结果的具体方法为:
通过对十个不同模型的分割结果进行投票选择,即根据十个模型的结果对每一像素点的类别进行投票,当投票概率大于70%时即认为该像素点为GA病变区域,从而得到最终的分割结果。
下面结合实施例对本发明作进一步详细的说明:
本发明以SD-OCT视网膜图像作为输入,通过深度网络模型表达三维输入,生成二维的地图状萎缩病变分割图像。
本发明实施示例的流程如图1所示。
(1)通过OCT成像设备采集到的三维SD-OCT视网膜图像大小为512×128×1024,对应视网膜6mm×6mm×2mm的区域,图2给出了SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式。左上为人眼的解剖结构图,右上为彩色眼底图像,右下为黄斑区域的三维SD-OCT图像,左下给出了三幅B-scan图像。
(2)通过GA病变的标准数据集获取标记样本。
(3)使用BM4D算法对三维SD-OCT图像进行去噪处理,克服噪声对于深度网络模型的影响。图1左半部分由上到下分别给出了三维、二维和一维信号的去噪结果。
(4)图1下半部分给出了本发明的训练阶段示意图。对于一个大小为512×128×1024的三维数据,将大小为512×128的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合专家手工标记结果,随机选取十万个正样本(即GA病变像素)和十万个负样本(即正常组织像素)构成一个模型的训练集,并对此模型进行训练。
(5)重复上述过程十次,由于每次训练样本均为随机抽取,因此可获得十个不同的训练好的深度网络模型。需要指出的是,十个训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%。
(6)图1上半部分给出了本发明的测试阶段示意图。对于一副测试图像,首先使用BM4D进行去噪,然后对于大小为512×128的二维投影图像上的每一个像素点,即测试样本,将其1024维特征分别放入十个深度网络模型中,通过前向传播得到每一个样本的分类结果,即获得十个不同的分割结果。
(7)由于同类样本之间存在较大差异性、不同类样本之间存在一定的相似性,如图3所示。图中针对一副包含GA病变的SD-OCT数据进行了分析,选取了三帧B-scan数据,对于每一帧选取各选取了两个正负样本,从一维信号的分布不难看出SD-OCT数据本身存在较大的形态、结构变化,从而导致深度网络模型很难准确捕获三维结构信息。为此,本发明通过对十个不同模型的分割结果进行投票选择,得到最终的分割结果。图4给出了本发明的投票决策策略示例。
(8)图5给出了本发明的部分分割结果,其中第一列为原始二维图像,第二列为去噪结果,第三列为本发明分割结果,第四列为标准分割结果。从图中可知:本发明在在少量训练数据的情况下仍然可以获得与专家手工标记相近的分割结果,红线与蓝线的重合度较高。图6给出了三种方法得到的GA分割结果的比较示例图,其中第一列为去噪后二维图像,第二列和第三列为两种比较方法的分割结果,第四列为本发明分割结果,第五列为标准分割结果。从图6中可知:相比较于传统的基于层分割的方法而言,本发明在完全不依赖层分割结果的基础上,仍然能够得到更为精确的GA分割结果图像,且克服了SD-OCT数据中层状结果对于病变分析的影响。本发明获得的GA病变区域的精度以及算法的稳定性都优于现有的方法,实现了GA病变的高精度定量分析,对于后续的AMD疾病的预防和诊断具有重要的实际意义。
Claims (3)
1.一种基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于包括以下步骤:
步骤1、采集SD-OCT视网膜图像;
步骤2、根据GA病变的标准数据集,获取标记样本;
步骤3、使用BM4D算法对三维SD-OCT视网膜进行去噪处理;
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果;
步骤4中所述训练深度网络模型的具体方法为:
深度网络包含五层,分别为输入层、三层无监督的稀疏自编码器Sparse Autoencoder以及一个输出层;对于一个经过去噪的三维数据,将垂直方向的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合标记结果,随机选取十万个正样本即GA病变像素和十万个负样本即正常组织像素构成一个模型的训练集,从而构建深度网络的输入层;中间层由三层无监督的稀疏自编码器组成,每一个自编码器都包含1024个结点;输出层为一个监督的Softmax分类器,将深度特征分为GA病变和非GA病变两类。
2.根据权利要求1所述的基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于:步骤5中重复步骤4训练获得十个深度网络模型,具体为:
重复步骤4十次,每次训练样本均为随机抽取,且训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%,从而训练十个不同的深度网络模型。
3.根据权利要求1所述的基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于:步骤6所述使用投票决策策略得到最终的分割结果的具体方法为:
通过对十个不同模型的分割结果进行投票选择,即根据十个模型的结果对每一像素点的类别进行投票,当投票概率大于70%时即认为该像素点为GA病变区域,从而得到最终的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793834.6A CN108305241B (zh) | 2017-09-06 | 2017-09-06 | 基于深度投票模型的sd-oct图像ga病变分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793834.6A CN108305241B (zh) | 2017-09-06 | 2017-09-06 | 基于深度投票模型的sd-oct图像ga病变分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108305241A CN108305241A (zh) | 2018-07-20 |
CN108305241B true CN108305241B (zh) | 2021-12-28 |
Family
ID=62869462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710793834.6A Active CN108305241B (zh) | 2017-09-06 | 2017-09-06 | 基于深度投票模型的sd-oct图像ga病变分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108305241B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308701A (zh) * | 2018-08-31 | 2019-02-05 | 南京理工大学 | 深度级联模型的sd-oct图像ga病变分割方法 |
CN109620152B (zh) * | 2018-12-16 | 2021-09-14 | 北京工业大学 | 一种基于MutiFacolLoss-Densenet的心电信号分类方法 |
CN110010219B (zh) * | 2019-03-13 | 2021-12-10 | 杭州电子科技大学 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
CN111882005B (zh) * | 2020-09-28 | 2020-12-15 | 平安科技(深圳)有限公司 | 数据类别确定方法及装置、终端设备、存储介质 |
CN112446881A (zh) * | 2021-02-01 | 2021-03-05 | 北京小白世纪网络科技有限公司 | 一种病理图像分割的系统及方法 |
CN113243887B (zh) * | 2021-07-16 | 2021-10-22 | 中山大学中山眼科中心 | 一种老年黄斑变性智能诊疗仪 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3065086A1 (en) * | 2015-03-02 | 2016-09-07 | Medizinische Universität Wien | Computerized device and method for processing image data |
CN106600614A (zh) * | 2016-12-19 | 2017-04-26 | 南京理工大学 | 基于凹凸性的sd‑oct视网膜图像cnv分割方法 |
CN106683104A (zh) * | 2017-01-06 | 2017-05-17 | 西北工业大学 | 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 |
-
2017
- 2017-09-06 CN CN201710793834.6A patent/CN108305241B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3065086A1 (en) * | 2015-03-02 | 2016-09-07 | Medizinische Universität Wien | Computerized device and method for processing image data |
CN106600614A (zh) * | 2016-12-19 | 2017-04-26 | 南京理工大学 | 基于凹凸性的sd‑oct视网膜图像cnv分割方法 |
CN106683104A (zh) * | 2017-01-06 | 2017-05-17 | 西北工业大学 | 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 |
Non-Patent Citations (2)
Title |
---|
Automated geographic atrophy segmentation for SD-OCT images using region-based C-V model via local similarity factor;Sijie Niu 等;《Biomed Opt Express》;20160120;正文第1-12页 * |
Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method;Xiangrong Zhou 等;《Medical Physics》;20170721;第5221-5233页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108305241A (zh) | 2018-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108305241B (zh) | 基于深度投票模型的sd-oct图像ga病变分割方法 | |
CN109886273B (zh) | 一种cmr图像分割分类系统 | |
CN110010219B (zh) | 光学相干层析图像视网膜病变智能检测系统及检测方法 | |
CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
JP6999812B2 (ja) | 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 | |
CN107016681B (zh) | 基于全卷积网络的脑部mri肿瘤分割方法 | |
CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
CN109472781B (zh) | 一种基于串行结构分割的糖尿病视网膜病变检测系统 | |
Gao et al. | A deep learning based approach to classification of CT brain images | |
CN109671094B (zh) | 一种基于频域分级的眼底图像血管分割方法 | |
TWI684997B (zh) | 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法 | |
CN109063712A (zh) | 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统 | |
CN110084803A (zh) | 基于人类视觉系统的眼底图像质量评估方法 | |
CN101667289B (zh) | 基于nsct特征提取和监督分类的视网膜图像分割方法 | |
CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
Zhuang et al. | Breast ultrasound lesion classification based on image decomposition and transfer learning | |
Vinayaki et al. | Multithreshold image segmentation technique using remora optimization algorithm for diabetic retinopathy detection from fundus images | |
CN107330876A (zh) | 一种基于卷积神经网络的图像自动诊断方法 | |
CN109949277A (zh) | 一种基于排序学习和简化残差网络的oct图像质量评价方法 | |
CN113298780B (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
CN109308701A (zh) | 深度级联模型的sd-oct图像ga病变分割方法 | |
CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
CN112700409A (zh) | 视网膜微动脉瘤自动检测方法及成像方法 | |
Duan et al. | Aux-vit: classification of Alzheimer's disease from mri based on vision transformer with auxiliary branch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |