CN111767929A - 黄斑下新生血管模型的构建方法及系统 - Google Patents
黄斑下新生血管模型的构建方法及系统 Download PDFInfo
- Publication number
- CN111767929A CN111767929A CN201910195033.9A CN201910195033A CN111767929A CN 111767929 A CN111767929 A CN 111767929A CN 201910195033 A CN201910195033 A CN 201910195033A CN 111767929 A CN111767929 A CN 111767929A
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- sub
- macular
- cnv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 206010029113 Neovascularisation Diseases 0.000 title claims abstract description 30
- 230000003902 lesion Effects 0.000 claims abstract description 36
- 238000003745 diagnosis Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 206010064930 age-related macular degeneration Diseases 0.000 claims description 12
- 208000001309 degenerative myopia Diseases 0.000 claims description 12
- 230000004340 degenerative myopia Effects 0.000 claims description 12
- 208000002780 macular degeneration Diseases 0.000 claims description 12
- 206010012689 Diabetic retinopathy Diseases 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 22
- 210000004204 blood vessel Anatomy 0.000 abstract description 3
- 210000002189 macula lutea Anatomy 0.000 abstract description 3
- 201000010099 disease Diseases 0.000 description 19
- 239000010410 layer Substances 0.000 description 13
- 238000012014 optical coherence tomography Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000037361 pathway Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 208000033825 Chorioretinal atrophy Diseases 0.000 description 4
- 208000008515 Choroidal sclerosis Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000017442 Retinal disease Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000009707 neogenesis Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理领域，公开了一种黄斑下新生血管模型的构建方法及系统。该方法包括利用在大数据库上预训练的卷积神经网络模块获得充足的分类标记；通过建立双阶段深度神经网络模型框架，将图像分别通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型。本申请实施方法中使得黄斑下新生血管疾病识别诊断的准确性更高。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种基于深度卷积神经网络的眼底光学相干断层成像中黄斑下新生血管疾病识别诊断技术。
背景技术
黄斑下新生血管性疾病(CNV，包括年龄相关性黄斑变性(AMD)、息肉状脉络膜视网膜病变(PCV)、病理性近视(PM)等，是工作人群中最常见的致盲原因。
目前，该病的诊断和治疗主要依赖光学相干断层成像(OCT)，而OCT图像易受疾病本身因素影响(如出血和脂质渗出)，且存在成像质量较差、不清晰等问题，导致不能精确识别和诊断疾病，从而影响治疗决策和结果。人工分类的方法存在耗时长，不同经验的医师之间判别差距大，因而无法应用于大规模的临床图像识别。
在临床环境下，OCT图像具有分辨率低，噪点多等特征。由于目前没有一个较好的图像特征标准用于识别黄斑下新生血管疾病，导致传统方法无法稳定地运行在各种环境下的OCT图像上，导致识别准确性低。此外，由于黄斑下新生血管疾病的病灶复杂性，该类疾病各种亚类之间(如老年性黄斑变性、息肉样脉络膜病变及病理性近视)的病灶形态学信息不具有明显的分类特征,单纯通过人工标记的特征不足以很好区分分类结果。因此，上述方法亦很难推广应用于黄斑下新生血管性疾病的识别分类任务中。目前深度学习的方法被广泛应用于眼科其他疾病的鉴别诊断，但是目前尚未有报告用于黄斑下新生血管疾病的分类研究。
发明内容
本申请的目的在于提供一种黄斑下新生血管模型的构建方法及系统，解决了黄斑下新生血管疾病识别诊断的准确性较低的问题。
本申请公开了一种黄斑下新生血管模型的构建方法，包括如下步骤：
利用在大数据库上预训练的卷积神经网络模块获得充足的分类标记；
通过建立双阶段深度神经网络模型框架，通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型。
在一个优选例中，该通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型，进一步包括：
将图像输入具有残差处理单元的识别分类网络进行识别分类，判断该图像是否属于CNV；
如果属于CNV，则将该图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络，并确定对应的病变类型，构建黄斑下新生血管模型。
在一个优选例中，该病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变。
在一个优选例中，还包括：
如果不属于CNV，则将该图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
本申请还公开了一种黄斑下新生血管模型的构建系统包括：
预训练的卷积神经网络模块，用于通过在大数据库上的预训练以获得充足的分类标记；
双阶段深度神经网络模块，包含具有残差处理单元的识别分类网络模块和具有病灶区域单元的诊断分类网络模块，用于将该图像通过第一阶段的该具有残差处理单元的识别分类网络模块和第二阶段的该具有病灶区域单元的诊断分类网络模块以确定病变类型，构建黄斑下新生血管模型。
在一个优选例中，该双阶段深度神经网络模块还用于，将该图像输入该具有残差处理单元的识别分类网络模块以进行识别分类，判断该图像是否属于CNV，如果属于CNV，则将该图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络模块，并确定对应的病变类型，构建黄斑下新生血管模型。
在一个优选例中，该病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变。
在一个优选例中，该双阶段深度神经网络模块还用于，如果不属于CNV，则将该图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
本申请还公开了一种黄斑下新生血管模型的构建系统，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行该计算机可执行指令时实现如前文描述的方法中的步骤。
本申请还公开了一种计算机可读存储介质该计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
本申请实施方式中，至少包括的优点为：利用深度神经网络的原理，首先利用在大数据库上预训练的VGG模型获得充足的分类标记，然后通过建立双阶段深度神经网络模型框架，通过第一步识别分类网络和第二部诊断分类网络来构建黄斑下新生血管的模型；进一步地，提高网络的准确性，通过在原始网络中加入残差模块的方法，同时第二步中加入人工标记的病灶区域模块，使得最终识别诊断的准确性高。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的黄斑下新生血管模型的构建方法流程示意图
图2是根据本申请的残差处理单元的结构示意图
图3是根据本申请的诊断分类网络模块处理过程的结构示意图
图4是根据本申请第二实施方式的黄斑下新生血管模型的构建系统结构示意图
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
部分概念的说明：
深度学习：深度学习主要通过多个卷积层构成的深度神经网络对样本数据进行特征提取和分析。深度神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习(有人工标记)和非监督学习(无人工标记)，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(featureengineering)要求。
眼底光学相干断层成像：光学相干断层成像(OCT)是一种以光反射为基础的非侵入性二维成像技术，它利用超辐射发光二极管或超短脉冲激光发出低相干光线至需检查的组织和后视光束，通过干涉仪记录组织反射光的时间延迟，使用后视镜使光线反射，然后转变为分辨率高达10～20μm的图形，并可对其进行三维重建。由于其分辨率接近组织学水平，被誉为光学活检。
神经网络模型：Visual Geometry Group Network，简称VGG。
感兴趣区域：region of interest，简称ROI。
ImageNet数据库：ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种黄斑下新生血管模型的构建方法，其流程如图1所示，该方法包括以下步骤：
开始进入步骤101，利用在大数据库上预训练的卷积神经网络模型获得充足的分类标记。
之后进入步骤102，通过建立双阶段深度神经网络模型框架，通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络来确定病变类型，构建黄斑下新生血管模型。
在一个实施例中，上述步骤102进一步包括子步骤1和2，具体为：开始执行子步骤1，将图像输入具有残差处理单元的识别分类网络进行识别分类，判断该图像是否属于CNV；之后执行子步骤2，如果属于CNV，则将该图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络，并确定对应的病变类型。可选地，该病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变，构建黄斑下新生血管模型。
在一个实施例中，上述步骤102还包括子步骤3，如果不属于CNV，则将该图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
具体的，步骤102中的双阶段深度神经网络模型框架包含第一阶段的识别分类和第二阶段的诊断分类。在第一阶段，执行二元分类以区分CNV和非CNV，直接将图像输入卷积神经网络以进行识别分类，卷积神经网络的输出是输入图像属于CNV或非CNV的判断。然后基于第一阶段的判断进一步进行第二阶段，通过加入人工的标记对输入图像进行精细诊断分类，在第二阶段，我们的框架分为两个路径，包括CNV分类和进一步的疾病分类；如果图像在第一阶段被分类为CNV，则它将通过CNV分类路径，否则将进一步进行其他疾病分类路径。这两条路径分被包含三个类别，CNV分类路径包含病理性近视、老年性黄斑变性和息肉样脉络膜病变，非CNV分类路径(其他疾病分类路径)包含正常、玻璃膜疣和糖尿病性视网膜病变。
在一个实施例中，本实施方式中的识别分类网络和诊断分类网络的基础网络模型是VGG网络，该网络首先在ImageNet数据库上进行预训练直到其结果收敛，该网络使用的是连续性的卷积和池化层来提取图像特征。在卷积网络层，我们使用的以下函数来卷积输入图像：
其中，
代表卷积层的输入信息，w是一个大小为u×v×d的滤波器,同时b代表偏倚。滤波器的大小一般都比输入数据小，因此滤波器可以以预设的步长在卷积图像。需要说明的是所有输入数据以同一个权重进行卷积(比如同一个滤波器)，这样可以大幅减少卷积神经网络中参数数量。池化层是另一个很重要的部分，其通过降低数据的分辨率，使得提取的特征更加核心，不会受到输入图像数据形变或位移的影响。利用连续的卷积和池化层，获取的特征比普通的人工标记的结果更加反映内在特征。
进一步地，目前公认更深层的网络可以获取更加内在以及有意义的特征，但是在实际上层次深的网络可能会比层次较浅的网络表现差；并且更深的网络可能遭受梯度消失/爆炸的问题。为解决这些问题，如图2所示，我们将残差模块加入了VGG网络中，将输入层重构为加入残差函数的运算(以残差处理模块的形式存在)后的形式，提高准确性。
最后，从VGG卷积神经网络中获取特征后，我们只需使用softmax回归对输入图像进行分类：
其中，K代表视网膜疾病的类型，yk是xk属于第k组的概率。
最后训练卷积神经网络，更新卷积层中的滤波器，以使损失函数最小化，在本文中，我们使用sofmax log-loss来定义损失函数：
进一步地，考虑到病理性近视、老年性黄斑变性和息肉样脉络膜病变是属于黄斑下新生血管疾病的亚类，其差异在疾病图像中是较难以分辨的。因此，单纯的卷积神经网络可能被其他不重要的区域分散注意力，并且不能集中在疾病区域以进行区分。为了提高亚型疾病分类的准确性，我们引入人工标记，标记出病灶区域位置，进行网络训练，以便卷积神经网络在局部范围内提取更多的特征。如图3所示，在诊断分类网络模块中设置病灶区域模块，以便在CNV分类路径中的卷积神经网络中包括OCT图像和病灶区域(感兴趣区域)的串联数据同时输入。
本申请的第二实施方式涉及一种黄斑下新生血管模型的构建系统，其结构如图4所示，该系统包括预训练的卷积神经网络模块和双阶段深度神经网络模块。
其中该预训练的卷积神经网络模块用于通过在大数据库上的预训练以获得充足的分类标记；该双阶段深度神经网络模块进一步包含具有残差处理单元的识别分类网络模块和具有病灶区域单元的诊断分类网络模块，用于将该图像通过第一阶段的该具有残差处理单元的识别分类网络模块和第二阶段的该具有病灶区域单元的诊断分类网络模块以确定病变类型。
在一个实施例中，该双阶段深度神经网络模块还用于将该图像输入该具有残差处理单元的识别分类网络模块以进行识别分类，判断该图像是否属于CNV，如果属于CNV，则将该图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络模块，并确定对应的病变类型，构建黄斑下新生血管模型。可选地，该病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变。
在一个实施例中，该双阶段深度神经网络模块还用于，如果不属于CNV，则将该图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
在一个实施例中，该识别分类网络模块和该诊断分类网络模块的基础网络模型是VGG网络，该网络首先在ImageNet数据库上进行预训练直到其结果收敛，该网络使用的是连续性的卷积和池化层来提取图像特征。在卷积网络层，我们使用的以下函数来卷积输入图像：
其中，
代表卷积层的输入信息，w是一个大小为u×v×d的滤波器,同时b代表偏倚。滤波器的大小一般都比输入数据小，因此滤波器可以以预设的步长在卷积图像。需要说明的是所有输入数据以同一个权重进行卷积(比如同一个滤波器)，这样可以大幅减少卷积神经网络中参数数量。池化层是另一个很重要的部分，其通过降低数据的分辨率，使得提取的特征更加核心，不会受到输入图像数据形变或位移的影响。利用连续的卷积和池化层，获取的特征比普通的人工标记的结果更加反映内在特征。
进一步地，目前公认更深层的网络可以获取更加内在以及有意义的特征，但是在实际上层次深的网络可能会比层次较浅的网络表现差；并且更深的网络可能遭受梯度消失/爆炸的问题。为解决这些问题，我们将残差模块加入了VGG网络中，将输入层重构为加入残差函数的运算后的形式，提高准确性。
最后，从VGG卷积神经网络中获取特征后，我们只需使用softmax回归对输入图像进行分类：
其中，K代表视网膜疾病的类型，yk是xk属于第k组的概率。
最后训练卷积神经网络，更新卷积层中的滤波器，以使损失函数最小化，在本文中，我们使用sofmax log-loss来定义损失函数：
进一步地，考虑到病理性近视、老年性黄斑变性和息肉样脉络膜病变是属于黄斑下新生血管疾病的亚类，其差异在疾病图像中是较难以分辨的。因此，单纯的卷积神经网络可能被其他不重要的区域分散注意力，并且不能集中在疾病区域以进行区分。为了提高亚型疾病分类的准确性，我们引入人工标记，标记出病灶区域位置，进行网络训练，以便卷积神经网络在局部范围内提取更多的特征。如图3所示，在诊断分类网络模块中设置病灶区域单元，以便在CNV分类路径中的卷积神经网络中包括OCT图像和病灶区域(感兴趣区域)的串联数据同时输入。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述黄斑下新生血管模型的构建系统的实施方式中所示的各模块的实现功能可参照前述黄斑下新生血管模型的构建方法的相关描述而理解。上述黄斑下新生血管模型的构建系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述黄斑下新生血管模型的构建系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
此外，本申请实施方式还提供一种黄斑下新生血管模型的构建系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(Central Processing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称“DSP”)、专用集成电路(Appl ication SpecificIntegrated Circuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-onlymemory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
Claims (10)
1.一种黄斑下新生血管模型的构建方法，包括如下步骤：
利用在大数据库上预训练的卷积神经网络模块获得充足的分类标记；
通过建立双阶段深度神经网络模型框架，将图像分别通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型。
2.如权利要求1所述的方法，其特征在于，所述将图像分别通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型，进一步包括：
将图像输入具有残差处理单元的识别分类网络进行识别分类，判断所述图像是否属于CNV；
如果属于CNV，则将所述图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络，并确定对应的病变类型，构建黄斑下新生血管模型。
3.如权利要求2所述的方法，其特征在于，所述病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变。
4.如权利要求2或3所述的方法，其特征在于，所述将图像分别通过具有残差处理单元的识别分类网络和具有病灶区域单元的诊断分类网络以确定病变类型，构建黄斑下新生血管模型，进一步还包括：
如果不属于CNV，则将所述图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
5.一种黄斑下新生血管模型的构建系统，其特征在于，包括：
预训练的卷积神经网络模块，用于通过在大数据库上的预训练以获得充足的分类标记；
双阶段深度神经网络模块，包含具有残差处理单元的识别分类网络模块和具有病灶区域单元的诊断分类网络模块，用于将所述图像通过第一阶段的所述具有残差处理单元的识别分类网络模块和第二阶段的所述具有病灶区域单元的诊断分类网络模块以确定病变类型，构建黄斑下新生血管模型。
6.如权利要求5所述的系统，其特征在于，所述双阶段深度神经网络模块还用于，将所述图像输入所述具有残差处理单元的识别分类网络模块以进行识别分类，判断所述图像是否属于CNV，如果属于CNV，则将所述图像通过CNV分类路径输入具有病灶区域单元的诊断分类网络模块，并确定对应的病变类型。
7.如权利要求6所述的系统，其特征在于，所述病变类型包括病理性近视，老年性黄斑变性和息肉样脉络膜病变。
8.如权利要求6或7所述的系统，其特征在于，所述双阶段深度神经网络模块还用于，如果不属于CNV，则将所述图像通过非CNV分类路径输入具有病灶区域标识单元的诊断分类网络，并判断是否属于正常、玻璃膜疣或糖尿病性视网膜病变，构建黄斑下新生血管模型。
9.一种黄斑下新生血管模型的构建系统，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至4中任意一项所述的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至4中任意一项所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910195033.9A CN111767929A (zh) | 2019-03-14 | 2019-03-14 | 黄斑下新生血管模型的构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910195033.9A CN111767929A (zh) | 2019-03-14 | 2019-03-14 | 黄斑下新生血管模型的构建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767929A true CN111767929A (zh) | 2020-10-13 |
Family
ID=72717928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910195033.9A Pending CN111767929A (zh) | 2019-03-14 | 2019-03-14 | 黄斑下新生血管模型的构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767929A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222024A (zh) * | 2021-05-17 | 2021-08-06 | 点内（上海）生物科技有限公司 | 一种基于深度学习的肺部疾病多层次分类方法、系统及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1037035A (zh) * | 1988-04-08 | 1989-11-08 | 神经医学系统公司 | 基于神经网络的自动细胞试样分类系统和方法 |
| CN1462884A (zh) * | 2003-06-24 | 2003-12-24 | 南京大学 | 一种高精度、低假阴性率的肺癌细胞图像识别方法 |
| CN101226155A (zh) * | 2007-12-21 | 2008-07-23 | 中国人民解放军第八一医院 | 智能化肺癌早期细胞病理图像识别处理方法 |
| WO2016154495A2 (en) * | 2015-03-25 | 2016-09-29 | Oregon Health & Science University | Systems and methods of choroidal neovascularization detection using optical coherence tomography angiography |
| CN106530295A (zh) * | 2016-11-07 | 2017-03-22 | 首都医科大学 | 一种视网膜病变的眼底图像分类方法和装置 |
| CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| US20180235467A1 (en) * | 2015-08-20 | 2018-08-23 | Ohio University | Devices and Methods for Classifying Diabetic and Macular Degeneration |
| CN109190441A (zh) * | 2018-06-21 | 2019-01-11 | 丁彦青 | 女性生殖道细胞病理智能分类方法、诊断仪及存储介质 |
| CN109376767A (zh) * | 2018-09-20 | 2019-02-22 | 中国科学技术大学 | 基于深度学习的视网膜oct图像分类方法 |
-
2019
- 2019-03-14 CN CN201910195033.9A patent/CN111767929A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1037035A (zh) * | 1988-04-08 | 1989-11-08 | 神经医学系统公司 | 基于神经网络的自动细胞试样分类系统和方法 |
| CN1462884A (zh) * | 2003-06-24 | 2003-12-24 | 南京大学 | 一种高精度、低假阴性率的肺癌细胞图像识别方法 |
| CN101226155A (zh) * | 2007-12-21 | 2008-07-23 | 中国人民解放军第八一医院 | 智能化肺癌早期细胞病理图像识别处理方法 |
| WO2016154495A2 (en) * | 2015-03-25 | 2016-09-29 | Oregon Health & Science University | Systems and methods of choroidal neovascularization detection using optical coherence tomography angiography |
| US20180235467A1 (en) * | 2015-08-20 | 2018-08-23 | Ohio University | Devices and Methods for Classifying Diabetic and Macular Degeneration |
| CN106530295A (zh) * | 2016-11-07 | 2017-03-22 | 首都医科大学 | 一种视网膜病变的眼底图像分类方法和装置 |
| CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN109190441A (zh) * | 2018-06-21 | 2019-01-11 | 丁彦青 | 女性生殖道细胞病理智能分类方法、诊断仪及存储介质 |
| CN109376767A (zh) * | 2018-09-20 | 2019-02-22 | 中国科学技术大学 | 基于深度学习的视网膜oct图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴新: "基于深度学习的视网膜病变光学相干断层图像识别", 《中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222024A (zh) * | 2021-05-17 | 2021-08-06 | 点内（上海）生物科技有限公司 | 一种基于深度学习的肺部疾病多层次分类方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Imran et al. | Comparative analysis of vessel segmentation techniques in retinal images | |
| Almotiri et al. | Retinal vessels segmentation techniques and algorithms: a survey | |
| Lang et al. | Retinal layer segmentation of macular OCT images using boundary classification | |
| Gopinath et al. | Segmentation of retinal cysts from optical coherence tomography volumes via selective enhancement | |
| Hassan et al. | Recent developments in detection of central serous retinopathy through imaging and artificial intelligence techniques–a review | |
| CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| Raja et al. | Extraction of retinal layers through convolution neural network (CNN) in an OCT image for glaucoma diagnosis | |
| CN111862009B (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
| Valizadeh et al. | Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network | |
| CN108305241B (zh) | 基于深度投票模型的sd-oct图像ga病变分割方法 | |
| Ali et al. | Glaucoma detection based on local binary patterns in fundus photographs | |
| Abbas et al. | Machine learning methods for diagnosis of eye-related diseases: a systematic review study based on ophthalmic imaging modalities | |
| Paul et al. | Octx: Ensembled deep learning model to detect retinal disorders | |
| Mukherjee et al. | Retinal layer segmentation in optical coherence tomography (OCT) using a 3D deep-convolutional regression network for patients with age-related macular degeneration | |
| Hassan et al. | Multilayered deep structure tensor delaunay triangulation and morphing based automated diagnosis and 3D presentation of human macula | |
| Chen et al. | Automated retinal layer segmentation in OCT images of age‐related macular degeneration | |
| Shehryar et al. | Improved automated detection of glaucoma by correlating fundus and SD‐OCT image analysis | |
| Gende et al. | End-to-end multi-task learning approaches for the joint epiretinal membrane segmentation and screening in OCT images | |
| Zhang et al. | MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation | |
| Xiao et al. | Gated channel attention network for cataract classification on AS-OCT image | |
| Shaik et al. | Glaucoma identification based on segmentation and fusion techniques | |
| Yadav et al. | Automatic Cataract Severity Detection and Grading Using Deep Learning | |
| CN111767929A (zh) | 黄斑下新生血管模型的构建方法及系统 | |
| Antony et al. | Automated summarisation of SDOCT volumes using deep learning: Transfer learning vs de novo trained networks | |
| Karn et al. | On machine learning in clinical interpretation of retinal diseases using oct images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |
|
| RJ01 | Rejection of invention patent application after publication |