CN108305241A - 基于深度投票模型的sd-oct图像ga病变分割方法 - Google Patents

基于深度投票模型的sd-oct图像ga病变分割方法 Download PDF

Info

Publication number
CN108305241A
CN108305241A CN201710793834.6A CN201710793834A CN108305241A CN 108305241 A CN108305241 A CN 108305241A CN 201710793834 A CN201710793834 A CN 201710793834A CN 108305241 A CN108305241 A CN 108305241A
Authority
CN
China
Prior art keywords
depth
training
layer
data
depth network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710793834.6A
Other languages
English (en)
Other versions
CN108305241B (zh
Inventor
纪则轩
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710793834.6A priority Critical patent/CN108305241B/zh
Publication of CN108305241A publication Critical patent/CN108305241A/zh
Application granted granted Critical
Publication of CN108305241B publication Critical patent/CN108305241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度投票模型的SD‑OCT图像GA病变分割方法。该方法首先构造五层深度网络模型,第一层为输入层,第五层为输出层,隐含层由三层稀疏自编器构成。训练阶段,直接将具有1024维特征的带标记正负样本输入到深度网络模型中,通过无监督的三层自编码器捕获数据的深度描述特征,并通过训练输出层的soft‑max分类器获得最终的分割结果。最后,使用投票决策策略来改进十个训练模型的分割结果。该方法通过采用深度网络模型表达三维数据中的复杂数据结构,突破了传统方法对于图像层分割依赖的瓶颈,同时突破了传统方法对于不同来源数据的敏感性,实现了GA病变的高精度定量分析,对于老年黄斑变性疾病的预防和诊断具有重要的实际意义。

Description

基于深度投票模型的SD-OCT图像GA病变分割方法
技术领域
本发明涉及一种病变分割方法,特别是一种基于深度投票模型的频域光学相干断层视网膜图像地图状萎缩病变分割方法。
背景技术
视网膜疾病中的老年黄斑变性(Age-related Macular Degeneration, AMD)已经成为影响老年人健康和生活质量的主要疾病之一。SD-OCT视网膜图像是一种频域光学相干断层成像图像,它可以有效地呈现视网膜组织层的灰度和结构等变化,临床实验表明SD-OCT视网膜图像中能够显现越来越多的由AMD引起的视网膜病变组织,如玻璃疣、地图状萎缩、水肿、视网膜脱离等。由于SD-OCT视网膜图像特有的层状结构,导致传统的方法很难得到理想分析结果。由于GA通常与视网膜变薄和视网膜色素上皮层(Retinal PigmentEpithelium, RPE)和光感受器的丧失相关,早期的工作主要集中在RPE的厚度测量,其可以进一步用作GA病变的生物标志物,因此现有的GA分割方法主要在层分割的基础上进行处理。近几年主要出现了如下两种GA分割方法:
(1)基于层分割的半监督分割方法。该类方法首先对输入的SD-OCT图像进行层分割,在此基础上针对GA病变特性得到二维投影图像,然后采用半监督或者交互式的分割方法得到GA分割结果。
(2)基于层分割的无监督分割方法。该类方法在层分割的基础上获得二维投影图像,利用GA眼底图像的最大灰度信号获得GA的候选区域,并以此作为算法的初始值,实现了GA的自动无监督分割。
因此,由于SD-OCT图像特有的层状结构,现有的GA分割方法都是依赖于层分割的结果。然而,由于视网膜疾病通常会改变视网膜组织层结构,导致现有层分割方法很难获得理想的结果,进而影响最终的病变分割精度。
发明内容
本发明的目的在于提供一种基于不依赖于层分割的基于深度投票模型的频域光学相干断层(SD-OCT)视网膜图像的地图状萎缩(GA)病变分割新方法。
实现本发明目的的技术解决方案为:一种基于深度投票模型的SD-OCT视网膜图像地图状萎缩病变分割方法,包括以下步骤:
步骤1、采集SD-OCT视网膜图像;
步骤2、根据GA病变的标准数据集,获取标记样本;
步骤3、使用BM4D算法对三维SD-OCT视网膜进行去噪处理;
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果。
与现有技术相比,本发明的显著优点在于:通过采用深度网络模型表达三维数据中的复杂数据结构,在少量训练样本的前提下,突破了传统方法对于图像层分割依赖的瓶颈,同时突破了传统方法对于不同来源数据的敏感性,获得了较为理想的效果,大幅提高了GA病变的分割精度,对于老年黄斑变性疾病的预防和诊断具有重要的实际意义。
附图说明
图1是本发明基于深度投票模型的SD-OCT视网膜图像GA病变分割方法的流程图。
图2是SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式。左上为人眼的解剖结构图,右上为彩色眼底图像,右下为黄斑区域的三维SD-OCT图像,左下给出了三幅B-scan图像。
图3是SD-OCT视网膜图像GA病变的结构多样性示例。
图4是本发明的投票决策策略示例。
图5是本发明得到的GA分割结果示例图。
图6是三种方法得到的GA分割结果的比较示例图。
具体实施方式
下面结合附图对本发明作进一步描述。
结合图1,本发明的基于深度投票模型的SD-OCT视网膜图像GA病变分割方法包括以下步骤:
步骤1、采集SD-OCT视网膜图像,采用现有的OCT成像设备对视网膜图像进行采集。SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式如图2所示。
步骤2、根据GA病变的标准数据集,获取标记样本。
步骤3、使用BM4D算法对原始三维数据进行去噪处理。三维、二维和一维信号的去噪结果如图1所示。
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果。投票决策策略示例如图5所示。
步骤4中所述训练深度网络模型的具体方法为:
深度网络包含五层,分别为输入层、三层无监督的稀疏自编码器Sparse Autoencoder以及一个输出层(Softmax分类器,区分GA区域与非GA区域);对于一个大小为512×128×1024的三维数据,将大小为512×128的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合标记结果,随机选取十万个正样本即GA病变像素和十万个负样本即正常组织像素构成一个模型的训练集,从而构建深度网络的输入层;中间层由三层无监督的稀疏自编码器组成,每一个自编码器都包含1024个结点;输出层为一个监督的Softmax分类器,将深度特征分为GA病变和非GA病变两类。训练阶段,直接将具有1024维特征的带标记正负样本输入到深度网络模型中,通过无监督的三层自编码器捕获数据的深度描述特征,并通过训练输出层的soft-max分类器获得最终的分割结果。最后,使用投票决策策略来改进十个训练模型的分割结果。
步骤5中重复步骤4训练获得十个深度网络模型,具体为:
重复步骤4十次,每次训练样本均为随机抽取,且训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%,从而训练十个不同的深度网络模型。
步骤6所述使用投票决策策略得到最终的分割结果的具体方法为:
通过对十个不同模型的分割结果进行投票选择,即根据十个模型的结果对每一像素点的类别进行投票,当投票概率大于70%时即认为该像素点为GA病变区域,从而得到最终的分割结果。
下面结合实施例对本发明作进一步详细的说明:
本发明以SD-OCT视网膜图像作为输入,通过深度网络模型表达三维输入,生成二维的地图状萎缩病变分割图像。
本发明实施示例的流程如图1所示。
(1)通过OCT成像设备采集到的三维SD-OCT视网膜图像大小为512×128×1024,对应视网膜6mm×6mm×2mm的区域,图2给出了SD-OCT图像的成像区域、与彩色眼底图像比较的比较、成像结果以及病变的表现形式。左上为人眼的解剖结构图,右上为彩色眼底图像,右下为黄斑区域的三维SD-OCT图像,左下给出了三幅B-scan图像。
(2)通过GA病变的标准数据集获取标记样本。
(3)使用BM4D算法对三维SD-OCT图像进行去噪处理,克服噪声对于深度网络模型的影响。图1左半部分由上到下分别给出了三维、二维和一维信号的去噪结果。
(4)图1下半部分给出了本发明的训练阶段示意图。对于一个大小为512×128×1024的三维数据,将大小为512×128的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合专家手工标记结果,随机选取十万个正样本(即GA病变像素)和十万个负样本(即正常组织像素)构成一个模型的训练集,并对此模型进行训练。
(5)重复上述过程十次,由于每次训练样本均为随机抽取,因此可获得十个不同的训练好的深度网络模型。需要指出的是,十个训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%。
(6)图1上半部分给出了本发明的测试阶段示意图。对于一副测试图像,首先使用BM4D进行去噪,然后对于大小为512×128的二维投影图像上的每一个像素点,即测试样本,将其1024维特征分别放入十个深度网络模型中,通过前向传播得到每一个样本的分类结果,即获得十个不同的分割结果。
(7)由于同类样本之间存在较大差异性、不同类样本之间存在一定的相似性,如图3所示。图中针对一副包含GA病变的SD-OCT数据进行了分析,选取了三帧B-scan数据,对于每一帧选取各选取了两个正负样本,从一维信号的分布不难看出SD-OCT数据本身存在较大的形态、结构变化,从而导致深度网络模型很难准确捕获三维结构信息。为此,本发明通过对十个不同模型的分割结果进行投票选择,得到最终的分割结果。图4给出了本发明的投票决策策略示例。
(8)图5给出了本发明的部分分割结果,其中第一列为原始二维图像,第二列为去噪结果,第三列为本发明分割结果,第四列为标准分割结果。从图中可知:本发明在在少量训练数据的情况下仍然可以获得与专家手工标记相近的分割结果,红线与蓝线的重合度较高。图6给出了三种方法得到的GA分割结果的比较示例图,其中第一列为去噪后二维图像,第二列和第三列为两种比较方法的分割结果,第四列为本发明分割结果,第五列为标准分割结果。从图6中可知:相比较于传统的基于层分割的方法而言,本发明在完全不依赖层分割结果的基础上,仍然能够得到更为精确的GA分割结果图像,且克服了SD-OCT数据中层状结果对于病变分析的影响。本发明获得的GA病变区域的精度以及算法的稳定性都优于现有的方法,实现了GA病变的高精度定量分析,对于后续的AMD疾病的预防和诊断具有重要的实际意义。

Claims (4)

1.一种基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于包括以下步骤:
步骤1、采集SD-OCT视网膜图像;
步骤2、根据GA病变的标准数据集,获取标记样本;
步骤3、使用BM4D算法对三维SD-OCT视网膜进行去噪处理;
步骤4、在去噪数据的基础上,从标记样本集中随机抽取正负标记样本构建训练数据集,并以此训练深度网络模型;
步骤5、重复步骤4训练十个深度网络模型;
步骤6、使用训练好的十个深度网络模型分别对测试数据进行分割,使用投票决策策略得到最终的分割结果。
2.根据权利要求1所述的基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于:步骤4中所述训练深度网络模型的具体方法为:
深度网络包含五层,分别为输入层、三层无监督的稀疏自编码器Sparse Autoencoder以及一个输出层;对于一个经过去噪的三维数据,将垂直方向的二维投影图像上的每一个像素点视为一个样本,且每一个样本具有1024维特征,结合标记结果,随机选取十万个正样本即GA病变像素和十万个负样本即正常组织像素构成一个模型的训练集,从而构建深度网络的输入层;中间层由三层无监督的稀疏自编码器组成,每一个自编码器都包含1024个结点;输出层为一个监督的Softmax分类器,将深度特征分为GA病变和非GA病变两类。
3.根据权利要求1所述的基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于:步骤5中重复步骤4训练获得十个深度网络模型,具体为:
重复步骤4十次,每次训练样本均为随机抽取,且训练集数据彼此并不交叠,总训练样本数占总样本数的不到5%,从而训练十个不同的深度网络模型。
4.根据权利要求1所述的基于深度投票模型的SD-OCT图像GA病变分割方法,其特征在于:步骤6所述使用投票决策策略得到最终的分割结果的具体方法为:
通过对十个不同模型的分割结果进行投票选择,即根据十个模型的结果对每一像素点的类别进行投票,当投票概率大于70%时即认为该像素点为GA病变区域,从而得到最终的分割结果。
CN201710793834.6A 2017-09-06 2017-09-06 基于深度投票模型的sd-oct图像ga病变分割方法 Active CN108305241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710793834.6A CN108305241B (zh) 2017-09-06 2017-09-06 基于深度投票模型的sd-oct图像ga病变分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710793834.6A CN108305241B (zh) 2017-09-06 2017-09-06 基于深度投票模型的sd-oct图像ga病变分割方法

Publications (2)

Publication Number Publication Date
CN108305241A true CN108305241A (zh) 2018-07-20
CN108305241B CN108305241B (zh) 2021-12-28

Family

ID=62869462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710793834.6A Active CN108305241B (zh) 2017-09-06 2017-09-06 基于深度投票模型的sd-oct图像ga病变分割方法

Country Status (1)

Country Link
CN (1) CN108305241B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308701A (zh) * 2018-08-31 2019-02-05 南京理工大学 深度级联模型的sd-oct图像ga病变分割方法
CN109620152A (zh) * 2018-12-16 2019-04-16 北京工业大学 一种基于MutiFacolLoss-Densenet的心电信号分类方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN111882005A (zh) * 2020-09-28 2020-11-03 平安科技(深圳)有限公司 数据类别确定方法及装置、终端设备、存储介质
CN112446881A (zh) * 2021-02-01 2021-03-05 北京小白世纪网络科技有限公司 一种病理图像分割的系统及方法
CN113243887A (zh) * 2021-07-16 2021-08-13 中山大学中山眼科中心 一种老年黄斑变性智能诊疗仪

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065086A1 (en) * 2015-03-02 2016-09-07 Medizinische Universität Wien Computerized device and method for processing image data
CN106600614A (zh) * 2016-12-19 2017-04-26 南京理工大学 基于凹凸性的sd‑oct视网膜图像cnv分割方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065086A1 (en) * 2015-03-02 2016-09-07 Medizinische Universität Wien Computerized device and method for processing image data
CN106600614A (zh) * 2016-12-19 2017-04-26 南京理工大学 基于凹凸性的sd‑oct视网膜图像cnv分割方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIJIE NIU 等: "Automated geographic atrophy segmentation for SD-OCT images using region-based C-V model via local similarity factor", 《BIOMED OPT EXPRESS》 *
XIANGRONG ZHOU 等: "Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method", 《MEDICAL PHYSICS》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308701A (zh) * 2018-08-31 2019-02-05 南京理工大学 深度级联模型的sd-oct图像ga病变分割方法
CN109620152A (zh) * 2018-12-16 2019-04-16 北京工业大学 一种基于MutiFacolLoss-Densenet的心电信号分类方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN110010219B (zh) * 2019-03-13 2021-12-10 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN111882005A (zh) * 2020-09-28 2020-11-03 平安科技(深圳)有限公司 数据类别确定方法及装置、终端设备、存储介质
CN111882005B (zh) * 2020-09-28 2020-12-15 平安科技(深圳)有限公司 数据类别确定方法及装置、终端设备、存储介质
CN112446881A (zh) * 2021-02-01 2021-03-05 北京小白世纪网络科技有限公司 一种病理图像分割的系统及方法
CN113243887A (zh) * 2021-07-16 2021-08-13 中山大学中山眼科中心 一种老年黄斑变性智能诊疗仪

Also Published As

Publication number Publication date
CN108305241B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN108305241A (zh) 基于深度投票模型的sd-oct图像ga病变分割方法
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
CN106530283A (zh) 一种基于svm的医疗图像血管识别方法
JP6999812B2 (ja) 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法
CN109509178A (zh) 一种基于改进的U-net网络的OCT图像脉络膜分割方法
CN110197493A (zh) 眼底图像血管分割方法
CN110097129A (zh) 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN107220980A (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN108510473A (zh) 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割
CN105069304A (zh) 一种基于机器学习的评估预测asd的方法
CN109308701A (zh) 深度级联模型的sd-oct图像ga病变分割方法
CN109086668A (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN107862678A (zh) 一种眼底图像无参考质量评价方法
CN104954778B (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN106651883A (zh) 基于机器视觉的粪便形态识别方法
JP2019192215A (ja) 深層学習を用いた網膜層の3d定量解析
CN108717693A (zh) 一种基于rpn的视盘定位方法
CN110276736A (zh) 一种基于权值预测网络的磁共振图像融合方法
CN106886992A (zh) 一种基于饱和度的彩色多曝光融合图像的质量评价方法
CN109671068A (zh) 一种基于深度学习的腹部肌肉标注方法及装置
CN107154058A (zh) 一种引导使用者还原魔方的方法
CN109242812A (zh) 基于显著性检测与奇异值分解的图像融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant