CN110010219B - 光学相干层析图像视网膜病变智能检测系统及检测方法 - Google Patents
光学相干层析图像视网膜病变智能检测系统及检测方法 Download PDFInfo
- Publication number
- CN110010219B CN110010219B CN201910188403.6A CN201910188403A CN110010219B CN 110010219 B CN110010219 B CN 110010219B CN 201910188403 A CN201910188403 A CN 201910188403A CN 110010219 B CN110010219 B CN 110010219B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- retinopathy
- retina
- oct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000017442 Retinal disease Diseases 0.000 title claims abstract description 76
- 206010038923 Retinopathy Diseases 0.000 title claims abstract description 73
- 238000012014 optical coherence tomography Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 210000001525 retina Anatomy 0.000 claims abstract description 61
- 230000036285 pathological change Effects 0.000 claims abstract description 42
- 231100000915 pathological change Toxicity 0.000 claims abstract description 42
- 238000003745 diagnosis Methods 0.000 claims abstract description 26
- 230000003902 lesion Effects 0.000 claims abstract description 22
- 238000013526 transfer learning Methods 0.000 claims abstract description 13
- 201000010099 disease Diseases 0.000 claims abstract description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000013136 deep learning model Methods 0.000 claims abstract description 5
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 35
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 16
- 238000011002 quantification Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 210000003583 retinal pigment epithelium Anatomy 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 241000270295 Serpentes Species 0.000 claims description 4
- 238000004195 computer-aided diagnosis Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002207 retinal effect Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 16
- 238000011161 development Methods 0.000 abstract description 5
- 230000018109 developmental process Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 201000004569 Blindness Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 1
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 201000001371 inclusion conjunctivitis Diseases 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 206010044325 trachoma Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了光学相干层析图像视网膜病变智能检测系统及检测方法。目前获得的视网膜图像主要由眼科医生依靠肉眼观察来作出判断，不利于大规模推广。本发明以深度学习思想为技术核心，结合迁移学习策略，利用深度学习模型中的卷积神经网络算法构建分类器，实现视网膜病变的分类，并利用图像分割算法实现对病灶的提取和视网膜分层，从而获取图片中病变位置的具体信息和形态参数的量化信息，生成相关诊断报告供医生进一步诊断。本发明能够弥补目前光学相干层析成像系统在病变智能识别和精准定位这一领域的空白，有效降低医生工作强度，进一步促进光学相干层析成像系统在眼科疾病诊断上的临床应用和技术发展。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种光学相干层析图像视网膜病变智能检测系统及检测方法。
背景技术
眼部疾病严重影响患者生活质量。世界卫生组织2013年10月的最新数据表明，全球范围内视力受损的人数大约为2.85亿人，并且世界卫生组织预测，如果不采取行动，到2020年，全球盲人和有其他视力问题的患者总数还将扩大一倍。在上世纪末“视觉2020”全球防盲战略目标提出，约50％的盲是可以治愈的(如白内障、沙眼等)，约30％的盲是可以预防的(如青光眼、糖尿病视网膜病变)。因此，眼科疾病的早期检测和治疗能有效提高眼科疾病治愈率，减小致盲率。
光学相干层析成像技术(Optical Coherence Tomography,OCT)是伴随着激光技术的不断发展，特别是超快激光技术的发展，应运而生的一种新型断层扫描成像技术。与计算机断层成像(Computed Tomography，CT)，超声成像，磁共振成像等临床常用诊断技术相比，它有如下优点：首先，OCT技术是运用相干原理实现层析成像，同时选用短相干宽带光源，因此可以获得很高的轴向分辨率(μm级)；其次，OCT技术使用近红外光，可以实现无损的活体光检，并具有一定的探测深度(mm级)；另外，OCT技术还具有非侵入、非接触、价格较低、实时快速等优点。因此，OCT技术能及时有效地帮助医生了解疾病的病理变化过程，并为医生作出诊断及疗程安排提供客观有效的影像学依据。它在眼科、心血管科、皮肤科和肿瘤科等领域的临床检测中得到了广泛的应用和发展，特别是在视网膜疾病的临床诊断研究中。
目前，在视网膜疾病检查中利用OCT获得的视网膜图像主要由眼科医生依靠肉眼观察来作出判断，工作量甚大，同时极度依赖于医生个人临床经验，这种识别方式不利于大规模地推广。另外，可防可治性盲和低视力患者更多分布在经济欠发达的国家和地区，究其原因为医疗资源缺乏及分布不均衡等。所以，研发一套光学相干层析成像技术视网膜病变检测系统及检测方法对临床视网膜疾病的早期诊疗和预防意义重大，具有重要的现实意义和临床价值。
发明内容
本发明的目的是针对上述问题，提供一种高效准确的光学相干层析图像视网膜病变智能检测系统及检测方法，以深度学习思想为技术核心，结合迁移学习策略，利用深度学习模型中的卷积神经网络(Convolutional Neural Network，CNN)算法构建分类器，实现视网膜病变的分类，并利用图像分割算法实现对病灶的提取和视网膜分层，从而获取图片中病变位置的具体信息和形态参数的量化信息，生成相关诊断报告供医生进一步诊断。本发明能够弥补目前光学相干层析成像系统在病变智能识别和精准定位这一领域的空白，有效降低医生工作强度，进一步促进光学相干层析成像系统在眼科疾病诊断上的临床应用和技术发展。
为实现此目的，本发明采用如下技术方案：
本发明中的光学相干层析图像视网膜病变智能检测系统，包括图像获取模块、图像预处理模块、视网膜病变分析模块和病例报告输出模块；所述的图像获取模块用于获取检查者的视网膜OCT数据；所述的图像预处理模块对OCT图像进行预处理；所述的视网膜病变分析模块用于对视网膜病变的识别和分类以及对形态学参数的计算和病灶具体位置的标注；所述的病例报告输出模块根据视网膜病变分析结果形成辅助诊断结果，并让医生确认、修改或输入医嘱，从而形成诊断报告。所述的视网膜病变分析模块包含视网膜病变分类模块和视网膜信息量化模块；所述的视网膜病变分类模块利用结合迁移学习的CNN结构实现对不同视网膜病变的识别和分类，并通过提取病变图像的图像序列实现对病变图像定位和识别；所述的视网膜信息量化模块包含对病灶的定位和形态学参数计算，利用图像分割算法获得视网膜各层边界，以获得视网膜厚度和杯盘比。
所述图像预处理模块的预处理包含图像去噪和增强。
所述的病例报告输出模块包括病变信息输出模块和用户交互模块；所述的病变信息输出模块将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以病变图像进行输出，形成辅助诊断结果；所述的用户交互模块用于医生对辅助诊断结果的确认或修改以及对医嘱的输入。
利用上述系统的光学相干层析图像视网膜病变智能检测方法，包括如下步骤：
步骤1：图像获取模块获取患者的视网膜OCT数据，并转换成OCT图像；对得到的OCT图像进行数据标注，每张图像对应一个序号；
步骤2：图像预处理模块对图像获取模块得到的OCT图像进行预处理，利用图像去噪和增强技术提高图像质量；
步骤3：将图像预处理模块处理后的OCT图像输入到视网膜病变分析模块的CNN结构中得到不同病变和正常图像的特征值，从而进行病变识别和分类，利用识别得到病变图像的图像序列，实现对病变位置的定位，正常和每种病变各自对应一个特征值；所述的CNN结构结合迁移学习，包含于视网膜病变分类模块中。视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块；数据扩增模块基于数据增强技术实现对OCT图像数据库中的数据集进行拓展，数据增强技术采用翻转、加噪、模糊、变形或亮度调节中的一种或几种组合；将拓展后的数据集分为训练集和验证集，用于训练模型；模型训练模块是结合迁移学习策略，利用深度CNN(如AlexNet，VGGNet,GoogLeNet，ResNet等)结构实现视网膜病变的识别和分类；迁移学习网络是以ImageNet数据集上预先训练好的CNN模型为基础网络，保持卷积层参数不变，调整全连接层参数，利用预先训练好的CNN模型权重对目标网络(图像预处理模块处理后的OCT图像网络)进行初始化，再用目标网络数据集(数据扩增模块拓展后的数据集)对该目标网络进行微调，采用随机梯度下降法减小实际与期望值之间的差异，并利用反向传播计算梯度系数，最后得到适用于目标网络的深度学习模型。模型测试模块是利用模型训练模块得到的模型对输入的OCT图像数据进行测试；
步骤4：视网膜病变分析模块的视网膜信息量化模块对OCT图像中的视网膜进行分层，利用分层信息，计算视网膜厚度和杯盘比，并对视网膜病变分类模块得到的病变图像进行标记，提取病变区域信息。
步骤5：病例报告输出模块将视网膜病变分析模块得到的病变图像序列和病变信息转换成文字信息，形成计算机辅助诊断报告，供医生进一步分析病情；其中的用户交互模块用于实现医生对计算机诊断结果的确认或修改以及医嘱的输入。
进一步，步骤1中，视网膜OCT数据通过傅里叶变换转换成OCT图像。
进一步，步骤2中，图像去噪使用高斯模糊、中值滤波和均值滤波，并引入各向异性扩散滤波算法实现图像去噪和增强，并基于gamma(伽马)曲线实现对图像对比度和亮度的调整。
进一步，步骤4中，视网膜信息量化模块利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型综合技术，对OCT图像中的视网膜进行分割，自动提取层状结构轮廓实现视网膜分层(分为视网膜色素上皮(Retinal Pigment Epithelium，RPE)层，光感受器层、外界膜、外颗粒层、外丛状层、内颗粒层、内丛状层、神经节细胞层、神经纤维层和内界膜)，基于各层边界信息获取视网膜厚度分布图；结合方向梯度直方图(Histogram ofOriented Gradient,HOG)特征和极限学习机(Extreme Learning Machine，ELM)，识别视网膜色素上皮层的两个断点；通过连接视网膜色素上皮层两个断点，得到一条直线，再将该直线向上平移150μm的距离，得到另一条直线，将第二条直线与视盘内边界的交点作为盘沿和视杯的划分，进而计算得到杯盘比。
本发明具有的有益效果：
本发明采用结合迁移学习策略的深度CNN结构，通过模型的训练自动学习得到视网膜OCT图像的特征，实现对视网膜病变的分类和视网膜形态学信息的提取，从而提高诊断效率和准确率，特别是对于一些医疗资源不发达的地区，在没有或缺少专业医生的情况下，患者可以通过上传数据得到计算机辅助诊断结果，为患者节省时间。该发明有助于进一步提高光学相干层析成像技术在临床上的实用价值，特别适用于大范围视网膜疾病筛查。
附图说明
图1为本发明的流程图；
图2为本发明中视网膜病变分析模块的病变识别分类和病变参数量化的流程图；
图3为本发明中视网膜病变分析模块所使用的结合迁移学习策略的深度CNN结构图；
图4为本发明中视网膜病变分析模块所使用的AlexNet模型结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明，但本发明并不限于以下具体实施例。
如图1所示，光学相干层析图像视网膜病变智能检测系统，包含图像获取模块1、图像预处理模块2、视网膜病变分析模块3和病例报告输出模块4；图像获取模块1的输出端连接图像预处理模块2的输入端，图像预处理模块2的输出端连接视网膜病变分析模块3的输入端，视网膜病变分析模块3的输出端连接病例报告输出模块4的输入端。
图像获取模块1用于获取检查者的视网膜OCT图像，并对图像进行数据标注，每张图像对应一个序号；图像预处理模块2对视网膜OCT图像进行预处理，用于提高视网膜OCT图像质量和增强病变区信号；视网膜病变分析模块3是对输入的视网膜图像进行识别和病变分类以及计算相关形态学参数，以提取病变图像的序号和病变信息；病例报告输出模块4根据视网膜病变分析模块3的分析结果形成辅助诊断结果，并让医生确认或修改以及输入医嘱，从而形成诊断报告。
图像预处理模块2的预处理包含图像去噪和增强，以提高图像质量和识别度。
视网膜病变分析模块3包含视网膜病变分类模块和视网膜信息量化模块，其中，视网膜病变分类模块是利用结合迁移学习策略的深度CNN(如AlexNet，VGGNet，GoogLeNet，ResNet等)结构实现视网膜病变的识别和分类，并通过提取病变图像的图像序列实现对病变图像的定位，视网膜信息量化模块对被视网膜图像进行分层，提取视网膜各层厚度、杯盘比等量化信息，并标记病变具体位置。
病例报告输出模块4是用于生成诊断报告，包括病变信息输出模块和用户交互模块，其中病变信息输出模块是将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以相关病变图像进行输出，形成辅助诊断结果；所述的用户交互模块用于医生对计算机诊断结果的确认或修改以及对医嘱的输入
利用上述系统的光学相干层析图像视网膜病变智能检测方法，包括如下步骤：
步骤1：图像获取模块获取患者的视网膜OCT数据，并通过相应的处理转换成OCT图像，对得到的OCT图像进行数据标注，每张图像对应一个序号；
步骤2：图像获取模块1将得到的视网膜OCT图像输入到图像预处理模块2进行预处理，实现图像去噪和增强；
步骤3：图像预处理模块2将预处理后的视网膜OCT图像输入到视网膜病变分析模块3的深度CNN结构中得到不同病变和正常图像的特征值，从而进行病变的识别和分类，利用识别得到病变图像的图像序号，实现对病变位置的定位，正常和每种病变各自对应一个特征值；
步骤4：视网膜病变分析模块3的视网膜信息量化模块对OCT图像中的视网膜进行分层，利用分层信息，计算视网膜厚度和杯盘比等，并对视网膜病变分类模块得到的病变图像进行标记，提取病变区域信息；
步骤5：病例报告输出模块4将视网膜病变分析模块3得到的病变图像序列和病变区域信息转换成文字信息并配以相应OCT图像，形成计算机辅助诊断报告，供医生进一步分析病情；其中的用户交互模块用于实现医生对辅助诊断结果的确认或修改以及医嘱的输入。
步骤2中，图像去噪使用高斯模糊、中值滤波和均值滤波，并引入各向异性扩散滤波算法实现图像去噪和增强，并基于gamma(伽马)曲线实现对图像对比度和亮度的调整。
如图2所示，步骤3中，视网膜病变分析模块3包含视网膜病变分类模块和视网膜信息量化模块；其中，视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块；数据扩增模块是指基于数据增强技术实现对OCT图像数据的拓展，数据增强技术采用翻转、加噪、模糊、变形或亮度调节等基本图形处理操作的一种或几种组合；模型训练模块是结合迁移学习策略，利用深度CNN(如AlexNet，VGGNet，GoogLeNet，ResNet等)结构实现视网膜病变(黄斑病变、视乳头病变、玻璃膜疣、浆液性/出血性视网膜病变、视网膜劈裂、视网膜脱离、玻璃体黄斑牵引、脉络膜新生血管等)的识别和分类。
与使用随机初始化的CNN结构相比，结合迁移学习策略的方法既可以加快网络训练速度，也可以减轻由于训练数据量过小而产生的过拟合现象，更适合小规模医学图像的识别模型构建。本实例采用AlexNet作为与迁移学习策略结合的CNN网络。图3是视网膜病变分析模块所用的迁移学习过程。迁移学习网络是以ImageNet数据集上训练好的AlexNet模型(预训练网络)为基础网络，保持卷积层参数不变，调整全连接层参数，利用预训练模型权重(迁移参数)对目标网络进行初始化，再用目标网络数据集(分为训练集和验证集)对该目标网络进行微调，采用随机梯度下降法减小实际与期望值之间的差异，并利用反向传播计算梯度系数，最后得到适用于目标网络的深度学习模型。与其他模型相比，AlexNet利用ReLU作为激活函数，并利用dropout防止过拟合。
图4是AlexNet模型的结构图，其包含8个学习层，其中前五个为卷积层，第一、二、五卷积层后跟随池化层，后三个为全连接层，最后一层全连接层后跟随一个Softmax分类层，Softmax分类层用于实现对不同病变的分类，每个学习层均包含ReLU。如图3所示，首先在ImageNet数据集上预训练AlexNet得到基础网络，然后保持卷积层参数不变，调整全连接层的参数，然后根据目标数据集，微调目标网络；具体而言，训练时随机初始化全连接层的权重并将预训练AlexNet模型的权重作为其它学习层的初始权重，随机初始化的学习层设置为0.01，所有迁移参数的学习层学习率设为0.001，模型采用“step”学习策略，学习率衰减步长(stepsize)可设置为2000，最大迭代次数为10000，梯度更新权重(momentum)为0.9，权重衰减(weight decay)为0.0005。
模型测试模块是利用模型训练模块得到的模型对输入图像进行测试；模型对病变的检测性能分析采用敏感性、特异性、漏检率、误检率和准确性为评价标准，其中，敏感性表征模型识别病变图像的能力，特异性表征模型识别正常图像的能力，准确性表征模型识别图像的能力，是对模型性能的整体评价，具体计算公式如下：
步骤4中，视网膜病变分析模块3中的视网膜信息量化模块是利用图像分割技术提取视网膜各层厚度、杯盘比等量化信息，以及对被标记为病变图像的进行病灶标记；其中，利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型等综合技术，对OCT图像中的视网膜各层进行分割，自动提取层状结构轮廓并获取视网膜厚度分布图；结合方向梯度直方图特征和极限学习机，通过视网膜色素上皮层断点评估杯盘比。
步骤5中，病例报告输出模块包含信息输出模块和用户交互模块，信息输出模块是利用病变图像的图像序列和特征值进行定位及病变分类，并将得到的病变信息转换成文字信息(病灶类型、视网膜厚度、杯盘比等)同时配以相应的图像，形成诊断报告分析病情；用户交互模块是让医生确认或修改病变信息并输入医嘱等，进而形成一份完整的诊断报告，供医生进一步分析。
上述具体实例方式用来解释本发明，而不是对本发明进行限制。在本发明的精神和权力要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
Claims (4)
1.光学相干层析图像视网膜病变智能检测系统，包括图像获取模块、图像预处理模块、视网膜病变分析模块和病例报告输出模块，其特征在于：所述的图像获取模块用于获取检查者的视网膜OCT数据；所述的图像预处理模块对OCT图像进行预处理；所述图像预处理模块的预处理包含图像去噪和增强；图像去噪使用高斯模糊、中值滤波和均值滤波，并引入各向异性扩散滤波算法实现图像去噪和增强，并基于gamma曲线实现对图像对比度和亮度的调整；数据增强技术采用翻转、加噪、模糊、变形或亮度调节中的一种或几种组合；所述的视网膜病变分析模块用于对视网膜病变的识别和分类以及对形态学参数的计算和病灶具体位置的标注；所述的病例报告输出模块根据视网膜病变分析结果形成辅助诊断结果，并让医生确认、修改或输入医嘱，从而形成诊断报告；所述的视网膜病变分析模块包含视网膜病变分类模块和视网膜信息量化模块；所述的视网膜病变分类模块利用结合迁移学习的CNN结构实现对不同视网膜病变的识别和分类，并通过提取病变图像的图像序列实现对病变图像定位和识别；所述的视网膜信息量化模块包含对病灶的定位和形态学参数计算，利用图像分割算法获得视网膜各层边界，以获得视网膜厚度和杯盘比；视网膜信息量化模块利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型综合技术，对OCT图像中的视网膜进行分割，自动提取层状结构轮廓实现视网膜分层，基于各层边界信息获取视网膜厚度分布图；
该光学相干层析图像视网膜病变智能检测系统的工作过程如下：
步骤1：图像获取模块获取患者的视网膜OCT数据，并转换成OCT图像；对得到的OCT图像进行数据标注，每张图像对应一个序号；
步骤2：图像预处理模块对图像获取模块得到的OCT图像进行预处理，利用图像去噪和增强技术提高图像质量；
步骤3：将图像预处理模块处理后的OCT图像输入到视网膜病变分析模块的CNN结构中得到不同病变和正常图像的特征值，从而进行病变识别和分类，利用识别得到病变图像的图像序列，实现对病变位置的定位，正常和每种病变各自对应一个特征值；所述的CNN结构结合迁移学习，包含于视网膜病变分类模块中；视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块；数据扩增模块基于数据增强技术实现对OCT图像数据库中的数据集进行拓展，数据增强技术采用翻转、加噪、模糊、变形或亮度调节中的一种或几种组合；将拓展后的数据集分为训练集和验证集，用于训练模型；模型训练模块是结合迁移学习策略，利用深度CNN结构实现视网膜病变的识别和分类；迁移学习网络是以ImageNet数据集上预先训练好的CNN模型为基础网络，保持卷积层参数不变，调整全连接层参数，利用预先训练好的CNN模型权重对目标网络进行初始化，再用目标网络数据集对该目标网络进行微调，采用随机梯度下降法减小实际与期望值之间的差异，并利用反向传播计算梯度系数，最后得到适用于目标网络的深度学习模型；模型测试模块是利用模型训练模块得到的模型对输入的OCT图像数据进行测试；
步骤4：视网膜病变分析模块的视网膜信息量化模块对OCT图像中的视网膜进行分层，利用分层信息，计算视网膜厚度和杯盘比，并对视网膜病变分类模块得到的病变图像进行标记，提取病变区域信息；
视网膜信息量化模块利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型综合技术，对OCT图像中的视网膜进行分割，自动提取层状结构轮廓实现视网膜分层，基于各层边界信息获取视网膜厚度分布图；结合方向梯度直方图特征和极限学习机，识别视网膜色素上皮层的两个断点；通过连接视网膜色素上皮层两个断点，得到一条直线，再将该直线向上平移150μm的距离，得到另一条直线，将第二条直线与视盘内边界的交点作为盘沿和视杯的划分，进而计算得到杯盘比；
步骤5：病例报告输出模块将视网膜病变分析模块得到的病变图像序列和病变信息转换成文字信息，形成计算机辅助诊断报告，供医生进一步分析病情；其中的用户交互模块用于实现医生对计算机诊断结果的确认或修改以及医嘱的输入。
2.根据权利要求1所述的光学相干层析图像视网膜病变智能检测系统，其特征在于：所述的病例报告输出模块包括病变信息输出模块和用户交互模块；所述的病变信息输出模块将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以病变图像进行输出，形成辅助诊断结果；所述的用户交互模块用于医生对辅助诊断结果的确认或修改以及对医嘱的输入。
3.利用权利要求1所述光学相干层析图像视网膜病变智能检测系统的检测方法，其特征在于：步骤1中，视网膜OCT数据通过傅里叶变换转换成OCT图像。
4.利用权利要求3所述光学相干层析图像视网膜病变智能检测系统的检测方法，其特征在于：步骤2中，图像去噪使用高斯模糊、中值滤波和均值滤波，并引入各向异性扩散滤波算法实现图像去噪和增强，并基于gamma曲线实现对图像对比度和亮度的调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188403.6A CN110010219B (zh) | 2019-03-13 | 2019-03-13 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188403.6A CN110010219B (zh) | 2019-03-13 | 2019-03-13 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110010219A CN110010219A (zh) | 2019-07-12 |
| CN110010219B true CN110010219B (zh) | 2021-12-10 |
Family
ID=67167002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910188403.6A Active CN110010219B (zh) | 2019-03-13 | 2019-03-13 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110010219B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349162B (zh) * | 2019-07-17 | 2021-10-22 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN110367913B (zh) * | 2019-07-29 | 2021-09-28 | 杭州电子科技大学 | 无线胶囊内窥镜图像幽门和回盲瓣定位方法 |
| CN110659673A (zh) * | 2019-09-04 | 2020-01-07 | 清华大学 | 视网膜光学相干层析体数据自动识别方法及装置 |
| CN110689958A (zh) * | 2019-09-09 | 2020-01-14 | 杭州憶盛医疗科技有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN110942447B (zh) * | 2019-10-18 | 2023-07-21 | 平安科技（深圳）有限公司 | Oct图像分割方法、装置、设备及存储介质 |
| CN110738655B (zh) * | 2019-10-23 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 影像报告生成方法、装置、终端及存储介质 |
| CN111341462A (zh) * | 2020-02-27 | 2020-06-26 | 上海泗科智能科技有限公司 | 一种基于深度学习的手机端糖尿病性视网膜病变筛查app |
| CN111354055B (zh) * | 2020-03-13 | 2022-03-08 | 西南科技大学 | 基于深度学习的光学相干层析成像深度重建方法 |
| CN111554377A (zh) * | 2020-04-22 | 2020-08-18 | 首都医科大学附属北京同仁医院 | 眼前节实时医学图像监控系统及方法 |
| CN111583208B (zh) * | 2020-04-29 | 2023-08-11 | 重庆工程职业技术学院 | 一种根据多特征点辅助医学病灶影像识别的系统和工作方法 |
| CN111557651B (zh) * | 2020-05-28 | 2024-03-12 | 复旦大学附属儿科医院 | 一种静脉渗出、静脉炎自动识别仪 |
| CN111785363A (zh) * | 2020-06-03 | 2020-10-16 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种基于ai引导的慢性病辅助诊断系统 |
| CN113781381B (zh) * | 2020-06-05 | 2023-09-26 | 中山大学中山眼科中心 | 一种识别慢性肾病图像的系统 |
| KR102492463B1 (ko) * | 2020-06-24 | 2023-01-27 | 주식회사 뷰노 | 병변 판독 결과 표시 방법 |
| CN111739616B (zh) * | 2020-07-20 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | 眼部图像的处理方法、装置、设备及存储介质 |
| CN112134916B (zh) * | 2020-07-21 | 2021-06-11 | 南京邮电大学 | 一种基于深度强化学习的云边协同计算迁移方法 |
| TWI742782B (zh) | 2020-07-28 | 2021-10-11 | 國立勤益科技大學 | 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法 |
| CN112053321A (zh) * | 2020-07-30 | 2020-12-08 | 中山大学中山眼科中心 | 一种识别高度近视视网膜病变的人工智能系统 |
| CN114203294A (zh) * | 2020-08-28 | 2022-03-18 | 上海交通大学医学院附属第九人民医院 | 口腔黏膜病检测模型构建和预测方法、装置、终端及介质 |
| CN112043383B (zh) * | 2020-09-30 | 2022-07-15 | 复旦大学附属眼耳鼻喉科医院 | 一种眼科手术导航系统及电子设备 |
| CN112233789A (zh) * | 2020-10-12 | 2021-01-15 | 辽宁工程技术大学 | 一种区域特征融合的高血压视网膜病变分类方法 |
| CN112233087A (zh) * | 2020-10-14 | 2021-01-15 | 武汉楚精灵医疗科技有限公司 | 一种基于人工智能的眼科超声疾病诊断方法和系统 |
| CN112508919A (zh) * | 2020-12-11 | 2021-03-16 | 北京大恒普信医疗技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
| CN112446876A (zh) * | 2020-12-11 | 2021-03-05 | 北京大恒普信医疗技术有限公司 | 基于图像的抗vegf指征判别方法、装置及电子设备 |
| CN112652394A (zh) * | 2021-01-14 | 2021-04-13 | 浙江工商大学 | 基于多病灶目标检测的早产儿视网膜病变诊断系统 |
| CN112950577B (zh) * | 2021-02-26 | 2024-01-16 | 南方科技大学 | 图像处理方法、装置、电子设备和存储介质 |
| CN113487499A (zh) * | 2021-06-23 | 2021-10-08 | 南京诺源医疗器械有限公司 | 一种医疗光学成像用控制系统 |
| CN114209278B (zh) * | 2021-12-14 | 2023-08-25 | 复旦大学 | 一种基于光学相干层析成像的深度学习皮肤病诊断系统 |
| CN114581420A (zh) * | 2022-03-10 | 2022-06-03 | 东南大学 | 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 |
| CN114841952B (zh) * | 2022-04-28 | 2024-05-03 | 华南理工大学 | 一种云边协同的早产儿视网膜病变检测系统及检测方法 |
| CN116777794B (zh) * | 2023-08-17 | 2023-11-03 | 简阳市人民医院 | 一种角膜异物图像的处理方法及系统 |
| CN117877692B (zh) * | 2024-01-02 | 2024-08-02 | 珠海全一科技有限公司 | 一种视网膜病变个性化差异分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679198A (zh) * | 2013-12-10 | 2014-03-26 | 苏州大学 | 一种基于k近邻的视网膜内节/外节缺失自动检测方法 |
| CN103854284A (zh) * | 2014-02-26 | 2014-06-11 | 苏州大学 | 基于三维图搜索浆液性色素上皮层脱离的视网膜分割方法 |
| CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN108305241A (zh) * | 2017-09-06 | 2018-07-20 | 南京理工大学 | 基于深度投票模型的sd-oct图像ga病变分割方法 |
-
2019
- 2019-03-13 CN CN201910188403.6A patent/CN110010219B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679198A (zh) * | 2013-12-10 | 2014-03-26 | 苏州大学 | 一种基于k近邻的视网膜内节/外节缺失自动检测方法 |
| CN103854284A (zh) * | 2014-02-26 | 2014-06-11 | 苏州大学 | 基于三维图搜索浆液性色素上皮层脱离的视网膜分割方法 |
| CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
| CN108305241A (zh) * | 2017-09-06 | 2018-07-20 | 南京理工大学 | 基于深度投票模型的sd-oct图像ga病变分割方法 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于OCT图像的青光眼病变定量分析研究;王玉萍;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20160215;第E073-98页 * |
| 基于深度学习的视网膜病变光学相干断层图像识别;吴新;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190115;第E065-91页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110010219A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110010219B (zh) | 光学相干层析图像视网膜病变智能检测系统及检测方法 | |
| Li et al. | Deep learning based early stage diabetic retinopathy detection using optical coherence tomography | |
| CN111986211A (zh) | 一种基于深度学习的眼科超声自动筛查方法及系统 | |
| CN108416793B (zh) | 基于三维相干断层成像图像的脉络膜血管分割方法及系统 | |
| CN104809480A (zh) | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 | |
| CN102999905A (zh) | 基于自适应pcnn的眼底图像血管自动检测方法 | |
| CN112529894A (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN109949277A (zh) | 一种基于排序学习和简化残差网络的oct图像质量评价方法 | |
| CN112233087A (zh) | 一种基于人工智能的眼科超声疾病诊断方法和系统 | |
| CN113243887B (zh) | 一种老年黄斑变性智能诊疗仪 | |
| CN109344763A (zh) | 一种基于卷积神经网络的斜眼检测方法 | |
| Wang et al. | Accurate disease detection quantification of iris based retinal images using random implication image classifier technique | |
| EP3417401B1 (en) | Method for reducing artifacts in oct using machine learning techniques | |
| Singh et al. | Good view frames from ultrasonography (USG) video containing ONS diameter using state-of-the-art deep learning architectures | |
| CN114334124A (zh) | 一种基于深度神经网络的病理性近视检测系统 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| Alam et al. | Benchmarking deep learning frameworks for automated diagnosis of OCULAR TOXOPLASMOSIS: A comprehensive approach to classification and segmentation | |
| Aruchamy et al. | Automated glaucoma screening in retinal fundus images | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| CN105205813A (zh) | 角膜老年环自动检测方法 | |
| CN115147273A (zh) | 一种基于域适应的眼科oct术后轮廓图生成方法及系统 | |
| Hussein et al. | Automatic classification of AMD in retinal images | |
| CN112862782A (zh) | 一种基于R-Unet的人眼玻璃体混浊程度分级方法 | |
| CN115485717A (zh) | 使用分割和特征评估预测地图状萎缩进展 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |