CN110415231A - 一种基于注意力先验网络的cnv分割方法 - Google Patents

一种基于注意力先验网络的cnv分割方法 Download PDF

Info

Publication number
CN110415231A
CN110415231A CN201910676623.3A CN201910676623A CN110415231A CN 110415231 A CN110415231 A CN 110415231A CN 201910676623 A CN201910676623 A CN 201910676623A CN 110415231 A CN110415231 A CN 110415231A
Authority
CN
China
Prior art keywords
attention
priori
image
pixel
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910676623.3A
Other languages
English (en)
Inventor
于治楼
计晓贇
袭肖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201910676623.3A priority Critical patent/CN110415231A/zh
Publication of CN110415231A publication Critical patent/CN110415231A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于注意力先验网络的CNV分割方法，属于医学图像处理技术领域，本发明提出的方法主要分为三部分：(1)注意力先验学习。利用U‑net先对OCT图像进行预分割，生成一个先验图，能够表示像素分对或分错的先验(2)注意力先验增强。基于先验图，对原始图像进行增强，增强易分错像素的权重。生成注意力增强图像。(3)分割。利用全卷积神经网络对注意力增强图像进行分割。本发明能够提高易分错像素在训练过程中的重要性，使得分割模型能够学到这类像素足够的知识。

Description

一种基于注意力先验网络的CNV分割方法
技术领域
本发明涉及医学图像处理技术，尤其涉及一种基于注意力先验网络的CNV分割方法。
背景技术
黄斑部脉络膜新生血管(Choroidal NeoVascularisation，CNV)是老年人致盲的主要原因之一。脉络膜新生血管又称视网膜下新生血管，是来自脉络膜毛细血管的增殖血管，通过Bruch膜的裂口而扩展，于Bruch膜与视网膜色素上皮之间、或神经视网膜与视网膜色素上皮之间、或位于视网膜色素上皮与脉络膜之间增殖形成。它较多见于黄斑部，因而严重地损害中心视力。本症极为常见，目前已成为致盲的主要原因之一，早期发现和及时处理，在临床上具有十分重要的意义。
早在1876年，Sattle在正常成人眼的组织学检查中就注意到有一半的人，视网膜的周边部与Bruch膜之间有新生血管。Reichling等已证实在眼底的周边部常常出现这类毛细血管网。Friedman等用酶消化技术，发现新生血管出现在锯齿缘区域的Bruch膜和视网膜色素上皮之间，常见于成人眼，且特别常见于60岁以上者。眼底荧光血管造影技术问世以来，临床上对其认识不断深入，特别是对黄斑下脉络膜新生血管的早期诊断和治疗，已取得了重要的进展。
CNV的分割对其量化分析具有重要意义。医学影像是CNV辅助检查必不可少的手段。其中，相比较其他影像，OCT图像是最常用工具。然而，OCT图像中的 CNV分割具有一系列挑战。例如，OCT图像中CNV和背景具有较大的灰度重叠， CNV病灶的边缘不清晰，且形状大小不固定，从而使得现有分割方法很难取得令人满意的性能。
发明内容
针对OCT图像的复杂特点，本发明提出了一种基于注意力先验学习网络的 CNV分割方法，能够提高易分错像素在训练过程中的重要性，使得分割模型能够学到这类像素足够的知识。
本发明的技术方案是：
一种基于注意力先验网络的CNV分割方法，
分为三个步骤：
(1)注意力先验学习；利用U-net先对OCT图像进行预分割，生成一个先验图，表示像素分对或分错的先验；
(2)注意力先验增强；基于先验图，对原始图像进行增强，增强易分错像素的权重，生成注意力增强图像；
(3)分割；利用全卷积神经网络对注意力增强图像进行分割。
进一步的，
主要通过训练和分割两个阶段完成，
其中，训练阶段包括：
1)注意力先验模型训练；
2)注意力增强图像生成
3)分割网络训练。
再进一步的，
1)注意力先验模型训练
收集训练数据，在训练数据上训练U-net，然后利用U-net对训练数据进行分割，生成一个像素级的概率图。
对比概率图和图像的groundtruth，如果groundtruth中的CNV在概率图中的CNV概率较小，说明该像素很容易被分错，则需要对其赋予一个50％以上的先验值。
利用反操作实现该目的，即得到先验图。
2)注意力增强图像生成
将先验图加到原始图像中，即得到注意力增强图像；容易分错的像素被赋予50％以上的权值，即可对这类像素进行增强。
3)分割网络训练
利用U-net在注意力增强图像上进行训练，获得最终的分割网络。
再进一步的，
分割阶段：
1)将测试图像输入到注意力先验模型中，得到注意力先验图；
2)结合原始图像和注意力先验图生成注意力增强图像；
3)利用分割网络对注意力增强图像进行训练。
本发明的有益效果是
本发明生成的注意力增强图像能够提高易分错像素在训练过程中的重要性，使得分割模型能够学到这类像素足够的知识。因此，相比较传统方法，本发明提出的方法能够取得更高的分割精度。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于注意力先验网络的CNV分割方法，主要分为训练和分割两个阶段。
训练阶段：
(1)注意力先验模型训练。
收集训练数据，在训练数据上训练U-net，然后利用U-net对训练数据进行分割，生成一个像素级的概率图。
然后对比概率图和图像的groundtruth，如果groundtruth中的CNV在概率图中的CNV概率较小，说明该像素很容易被分错，则需要对其赋予一个较大的先验值即50％以上。
可以利用反操作实现该目的。即得到先验图。在先验图中，容易分错的像素需要赋予较大的注意力。
(2)注意力增强图像生成。
将先验图加到原始图像中，即得到注意力增强图像。容易分错的像素被赋予较大的权值即50％以上，即可对这类像素进行增强。
(3)分割网络训练。利用U-net在注意力增强图像上进行训练，获得最终的分割网络。
分割阶段：
1)将测试图像输入到注意力先验模型中，得到注意力先验图。
2)结合原始图像和注意力先验图生成注意力增强图像。
3)利用分割网络对注意力增强图像进行训练。
本发明生成的注意力增强图像能够提高易分错像素在训练过程中的重要性，使得分割模型能够学到这类像素足够的知识。因此，相比较传统方法，本发明提出的方法能够取得更高的分割精度。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于注意力先验网络的CNV分割方法，其特征在于，
分为三个步骤：
(1)注意力先验学习；利用U-net先对OCT图像进行预分割，生成一个先验图，表示像素分对或分错的先验；
(2)注意力先验增强；基于先验图，对原始图像进行增强，增强易分错像素的权重，生成注意力增强图像；
(3)分割；利用全卷积神经网络对注意力增强图像进行分割。
2.根据权利要求1所述的方法，其特征在于，
主要通过训练和分割两个阶段完成，
其中，训练阶段包括：
1)注意力先验模型训练；
2)注意力增强图像生成
3)分割网络训练。
3.根据权利要求2所述的方法，其特征在于，
1)注意力先验模型训练
收集训练数据，在训练数据上训练U-net，然后利用U-net对训练数据进行分割，生成一个像素级的概率图。
4.根据权利要求3所述的方法，其特征在于，
对比概率图和图像的groundtruth，如果groundtruth中的CNV在概率图中的CNV概率较小，说明该像素很容易被分错，则需要对其赋予一个50％以上的先验值。
5.根据权利要求4所述的方法，其特征在于，
利用反操作实现该目的，即得到先验图。
6.根据权利要求2所述的方法，其特征在于，
2)注意力增强图像生成
将先验图加到原始图像中，即得到注意力增强图像；容易分错的像素被赋予50％以上的权值，即可对这类像素进行增强。
7.根据权利要求2所述的方法，其特征在于，
3)分割网络训练
利用U-net在注意力增强图像上进行训练，获得最终的分割网络。
8.根据权利要求2所述的方法，其特征在于，
分割阶段：
(1)将测试图像输入到注意力先验模型中，得到注意力先验图；
(2)结合原始图像和注意力先验图生成注意力增强图像；
(3)利用分割网络对注意力增强图像进行训练。
CN201910676623.3A 2019-07-25 2019-07-25 一种基于注意力先验网络的cnv分割方法 Pending CN110415231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910676623.3A CN110415231A (zh) 2019-07-25 2019-07-25 一种基于注意力先验网络的cnv分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910676623.3A CN110415231A (zh) 2019-07-25 2019-07-25 一种基于注意力先验网络的cnv分割方法

Publications (1)

Publication Number Publication Date
CN110415231A true CN110415231A (zh) 2019-11-05

Family

ID=68363170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910676623.3A Pending CN110415231A (zh) 2019-07-25 2019-07-25 一种基于注意力先验网络的cnv分割方法

Country Status (1)

Country Link
CN (1) CN110415231A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161245A (zh) * 2019-03-25 2020-05-15 山东大学 一种鲁棒的交互式医学图像分割方法
CN113724262A (zh) * 2021-08-12 2021-11-30 苏州大学 视网膜oct图像中的cnv分割方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957066A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于自动上下文模型的ct图像肝脏分割方法及系统
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107369160A (zh) * 2017-06-28 2017-11-21 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法
US20180293733A1 (en) * 2014-10-10 2018-10-11 Eedan Istruments, Inc Systems and methods of dynamic image segmentation
WO2018188270A1 (zh) * 2017-04-14 2018-10-18 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293733A1 (en) * 2014-10-10 2018-10-11 Eedan Istruments, Inc Systems and methods of dynamic image segmentation
CN105957066A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于自动上下文模型的ct图像肝脏分割方法及系统
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
WO2018188270A1 (zh) * 2017-04-14 2018-10-18 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107369160A (zh) * 2017-06-28 2017-11-21 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161245A (zh) * 2019-03-25 2020-05-15 山东大学 一种鲁棒的交互式医学图像分割方法
CN111161245B (zh) * 2019-03-25 2023-06-06 山东大学 一种鲁棒的交互式医学图像分割方法
CN113724262A (zh) * 2021-08-12 2021-11-30 苏州大学 视网膜oct图像中的cnv分割方法
CN113724262B (zh) * 2021-08-12 2023-10-03 苏州大学 视网膜oct图像中的脉络膜新生血管cnv分割方法

Similar Documents

Publication Publication Date Title
Gong et al. The diagnostic accuracy of optical coherence tomography angiography for neovascular age‐related macular degeneration: a comparison with fundus fluorescein angiography
US20230022921A1 (en) System and method for analyzing corneal lesion using anterior ocular segment image, and computer-readable recording medium
Gao et al. Computer-aided cataract detection using enhanced texture features on retro-illumination lens images
CN110415231A (zh) 一种基于注意力先验网络的cnv分割方法
Baid et al. Detection of pathological myopia and optic disc segmentation with deep convolutional neural networks
Afrin et al. Automatic lesions detection and classification of diabetic retinopathy using fuzzy logic
Maher et al. Automated diagnosis non-proliferative diabetic retinopathy in fundus images using support vector machine
Khan et al. CDR based glaucoma detection using fundus images: a review
Sundhar et al. Automatic screening of fundus images for detection of diabetic retinopathy
Sreejini et al. Automatic grading of severity of diabetic macular edema using color fundus images
Naveen et al. Diabetic retinopathy detection using image processing
Bhadra et al. Automated detection of eye diseases
Tobin Jr et al. Characterization of the optic disc in retinal imagery using a probabilistic approach
Zeljković et al. Classification algorithm of retina images of diabetic patients based on exudates detection
Nugroho et al. Retinal vessel segmentation based on Frangi filter and morphological reconstruction
Kuri et al. Optimized MFR & automated local entropy thresholding for retinal blood vessel extraction
Sharif et al. Performance of image enhancement methods for diabetic retinopathy based on retinal fundus image
Yamuna et al. Detection of abnormalities in retinal images
Hassan et al. Analysis of optical coherence tomography images using deep convolutional neural network for maculopathy grading
Wigdahl et al. A shortest path approach to optic disc detection in retinal fundus images
JP2018023602A (ja) 眼底画像処理装置
Ardiyanto et al. Maximum entropy principle for exudates segmentation in retinal fundus images
Liu et al. A curriculum learning-based fully automated system for quantification of the choroidal structure in highly myopic patients
Tulasigeri et al. An advanced thresholding algorithm for diagnosis of glaucoma in fundus images
Intajag et al. Retinal image enhancement in multi-mode histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105

RJ01 Rejection of invention patent application after publication