CN110010219A - 光学相干层析图像视网膜病变智能检测系统及检测方法 - Google Patents

光学相干层析图像视网膜病变智能检测系统及检测方法 Download PDF

Info

Publication number
CN110010219A
CN110010219A CN201910188403.6A CN201910188403A CN110010219A CN 110010219 A CN110010219 A CN 110010219A CN 201910188403 A CN201910188403 A CN 201910188403A CN 110010219 A CN110010219 A CN 110010219A
Authority
CN
China
Prior art keywords
image
retinopathy
module
lesion
optical coherence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910188403.6A
Other languages
English (en)
Other versions
CN110010219B (zh
Inventor
范姗慧
刘士臣
沈艳艳
陈冬梅
魏凯华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910188403.6A priority Critical patent/CN110010219B/zh
Publication of CN110010219A publication Critical patent/CN110010219A/zh
Application granted granted Critical
Publication of CN110010219B publication Critical patent/CN110010219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了光学相干层析图像视网膜病变智能检测系统及检测方法。目前获得的视网膜图像主要由眼科医生依靠肉眼观察来作出判断,不利于大规模推广。本发明以深度学习思想为技术核心,结合迁移学习策略,利用深度学习模型中的卷积神经网络算法构建分类器,实现视网膜病变的分类,并利用图像分割算法实现对病灶的提取和视网膜分层,从而获取图片中病变位置的具体信息和形态参数的量化信息,生成相关诊断报告供医生进一步诊断。本发明能够弥补目前光学相干层析成像系统在病变智能识别和精准定位这一领域的空白,有效降低医生工作强度,进一步促进光学相干层析成像系统在眼科疾病诊断上的临床应用和技术发展。

Description

光学相干层析图像视网膜病变智能检测系统及检测方法
技术领域
本发明属于图像处理技术领域,特别是涉及一种光学相干层析图像视网膜病变智能检测系统及检测方法。
背景技术
眼部疾病严重影响患者生活质量。世界卫生组织2013年10月的最新数据表明,全球范围内视力受损的人数大约为2.85亿人,并且世界卫生组织预测,如果不采取行动,到2020年,全球盲人和有其他视力问题的患者总数还将扩大一倍。在上世纪末“视觉2020”全球防盲战略目标提出,约50%的盲是可以治愈的(如白内障、沙眼等),约30%的盲是可以预防的(如青光眼、糖尿病视网膜病变)。因此,眼科疾病的早期检测和治疗能有效提高眼科疾病治愈率,减小致盲率。
光学相干层析成像技术(Optical Coherence Tomography,OCT)是伴随着激光技术的不断发展,特别是超快激光技术的发展,应运而生的一种新型断层扫描成像技术。与计算机断层成像(Computed Tomography,CT),超声成像,磁共振成像等临床常用诊断技术相比,它有如下优点:首先,OCT技术是运用相干原理实现层析成像,同时选用短相干宽带光源,因此可以获得很高的轴向分辨率(μm级);其次,OCT技术使用近红外光,可以实现无损的活体光检,并具有一定的探测深度(mm级);另外,OCT技术还具有非侵入、非接触、价格较低、实时快速等优点。因此,OCT技术能及时有效地帮助医生了解疾病的病理变化过程,并为医生作出诊断及疗程安排提供客观有效的影像学依据。它在眼科、心血管科、皮肤科和肿瘤科等领域的临床检测中得到了广泛的应用和发展,特别是在视网膜疾病的临床诊断研究中。
目前,在视网膜疾病检查中利用OCT获得的视网膜图像主要由眼科医生依靠肉眼观察来作出判断,工作量甚大,同时极度依赖于医生个人临床经验,这种识别方式不利于大规模地推广。另外,可防可治性盲和低视力患者更多分布在经济欠发达的国家和地区,究其原因为医疗资源缺乏及分布不均衡等。所以,研发一套光学相干层析成像技术视网膜病变检测系统及检测方法对临床视网膜疾病的早期诊疗和预防意义重大,具有重要的现实意义和临床价值。
发明内容
本发明的目的是针对上述问题,提供一种高效准确的光学相干层析图像视网膜病变智能检测系统及检测方法,以深度学习思想为技术核心,结合迁移学习策略,利用深度学习模型中的卷积神经网络(Convolutional Neural Network,CNN)算法构建分类器,实现视网膜病变的分类,并利用图像分割算法实现对病灶的提取和视网膜分层,从而获取图片中病变位置的具体信息和形态参数的量化信息,生成相关诊断报告供医生进一步诊断。本发明能够弥补目前光学相干层析成像系统在病变智能识别和精准定位这一领域的空白,有效降低医生工作强度,进一步促进光学相干层析成像系统在眼科疾病诊断上的临床应用和技术发展。
为实现此目的,本发明采用如下技术方案:
本发明中的光学相干层析图像视网膜病变智能检测系统,包括图像获取模块、图像预处理模块、视网膜病变分析模块和病例报告输出模块;所述的图像获取模块用于获取检查者的视网膜OCT数据;所述的图像预处理模块对OCT图像进行预处理;所述的视网膜病变分析模块用于对视网膜病变的识别和分类以及对形态学参数的计算和病灶具体位置的标注;所述的病例报告输出模块根据视网膜病变分析结果形成辅助诊断结果,并让医生确认、修改或输入医嘱,从而形成诊断报告。所述的视网膜病变分析模块包含视网膜病变分类模块和视网膜信息量化模块;所述的视网膜病变分类模块利用结合迁移学习的CNN结构实现对不同视网膜病变的识别和分类,并通过提取病变图像的图像序列实现对病变图像定位和识别;所述的视网膜信息量化模块包含对病灶的定位和形态学参数计算,利用图像分割算法获得视网膜各层边界,以获得视网膜厚度和杯盘比。
所述图像预处理模块的预处理包含图像去噪和增强。
所述的病例报告输出模块包括病变信息输出模块和用户交互模块;所述的病变信息输出模块将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以病变图像进行输出,形成辅助诊断结果;所述的用户交互模块用于医生对辅助诊断结果的确认或修改以及对医嘱的输入。
利用上述系统的光学相干层析图像视网膜病变智能检测方法,包括如下步骤:
步骤1:图像获取模块获取患者的视网膜OCT数据,并转换成OCT图像;对得到的OCT图像进行数据标注,每张图像对应一个序号;
步骤2:图像预处理模块对图像获取模块得到的OCT图像进行预处理,利用图像去噪和增强技术提高图像质量;
步骤3:将图像预处理模块处理后的OCT图像输入到视网膜病变分析模块的CNN结构中得到不同病变和正常图像的特征值,从而进行病变识别和分类,利用识别得到病变图像的图像序列,实现对病变位置的定位,正常和每种病变各自对应一个特征值;所述的CNN结构结合迁移学习,包含于视网膜病变分类模块中。视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块;数据扩增模块基于数据增强技术实现对OCT图像数据库中的数据集进行拓展,数据增强技术采用翻转、加噪、模糊、变形或亮度调节中的一种或几种组合;将拓展后的数据集分为训练集和验证集,用于训练模型;模型训练模块是结合迁移学习策略,利用深度CNN(如AlexNet,VGGNet,GoogLeNet,ResNet等)结构实现视网膜病变的识别和分类;迁移学习网络是以ImageNet数据集上预先训练好的CNN模型为基础网络,保持卷积层参数不变,调整全连接层参数,利用预先训练好的CNN模型权重对目标网络(图像预处理模块处理后的OCT图像网络)进行初始化,再用目标网络数据集(数据扩增模块拓展后的数据集)对该目标网络进行微调,采用随机梯度下降法减小实际与期望值之间的差异,并利用反向传播计算梯度系数,最后得到适用于目标网络的深度学习模型。模型测试模块是利用模型训练模块得到的模型对输入的OCT图像数据进行测试;
步骤4:视网膜病变分析模块的视网膜信息量化模块对OCT图像中的视网膜进行分层,利用分层信息,计算视网膜厚度和杯盘比,并对视网膜病变分类模块得到的病变图像进行标记,提取病变区域信息。
步骤5:病例报告输出模块将视网膜病变分析模块得到的病变图像序列和病变信息转换成文字信息,形成计算机辅助诊断报告,供医生进一步分析病情;其中的用户交互模块用于实现医生对计算机诊断结果的确认或修改以及医嘱的输入。
进一步,步骤1中,视网膜OCT数据通过傅里叶变换转换成OCT图像。
进一步,步骤2中,图像去噪使用高斯模糊、中值滤波和均值滤波,并引入各向异性扩散滤波算法实现图像去噪和增强,并基于gamma(伽马)曲线实现对图像对比度和亮度的调整。
进一步,步骤4中,视网膜信息量化模块利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型综合技术,对OCT图像中的视网膜进行分割,自动提取层状结构轮廓实现视网膜分层(分为视网膜色素上皮(Retinal Pigment Epithelium,RPE)层,光感受器层、外界膜、外颗粒层、外丛状层、内颗粒层、内丛状层、神经节细胞层、神经纤维层和内界膜),基于各层边界信息获取视网膜厚度分布图;结合方向梯度直方图(Histogram ofOriented Gradient,HOG)特征和极限学习机(Extreme Learning Machine,ELM),识别视网膜色素上皮层的两个断点;通过连接视网膜色素上皮层两个断点,得到一条直线,再将该直线向上平移150μm的距离,得到另一条直线,将第二条直线与视盘内边界的交点作为盘沿和视杯的划分,进而计算得到杯盘比。
本发明具有的有益效果:
本发明采用结合迁移学习策略的深度CNN结构,通过模型的训练自动学习得到视网膜OCT图像的特征,实现对视网膜病变的分类和视网膜形态学信息的提取,从而提高诊断效率和准确率,特别是对于一些医疗资源不发达的地区,在没有或缺少专业医生的情况下,患者可以通过上传数据得到计算机辅助诊断结果,为患者节省时间。该发明有助于进一步提高光学相干层析成像技术在临床上的实用价值,特别适用于大范围视网膜疾病筛查。
附图说明
图1为本发明的流程图;
图2为本发明中视网膜病变分析模块的病变识别分类和病变参数量化的流程图;
图3为本发明中视网膜病变分析模块所使用的结合迁移学习策略的深度CNN结构图;
图4为本发明中视网膜病变分析模块所使用的AlexNet模型结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明,但本发明并不限于以下具体实施例。
如图1所示,光学相干层析图像视网膜病变智能检测系统,包含图像获取模块1、图像预处理模块2、视网膜病变分析模块3和病例报告输出模块4;图像获取模块1的输出端连接图像预处理模块2的输入端,图像预处理模块2的输出端连接视网膜病变分析模块3的输入端,视网膜病变分析模块3的输出端连接病例报告输出模块4的输入端。
图像获取模块1用于获取检查者的视网膜OCT图像,并对图像进行数据标注,每张图像对应一个序号;图像预处理模块2对视网膜OCT图像进行预处理,用于提高视网膜OCT图像质量和增强病变区信号;视网膜病变分析模块3是对输入的视网膜图像进行识别和病变分类以及计算相关形态学参数,以提取病变图像的序号和病变信息;病例报告输出模块4根据视网膜病变分析模块3的分析结果形成辅助诊断结果,并让医生确认或修改以及输入医嘱,从而形成诊断报告。
图像预处理模块2的预处理包含图像去噪和增强,以提高图像质量和识别度。
视网膜病变分析模块3包含视网膜病变分类模块和视网膜信息量化模块,其中,视网膜病变分类模块是利用结合迁移学习策略的深度CNN(如AlexNet,VGGNet,GoogLeNet,ResNet等)结构实现视网膜病变的识别和分类,并通过提取病变图像的图像序列实现对病变图像的定位,视网膜信息量化模块对被视网膜图像进行分层,提取视网膜各层厚度、杯盘比等量化信息,并标记病变具体位置。
病例报告输出模块4是用于生成诊断报告,包括病变信息输出模块和用户交互模块,其中病变信息输出模块是将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以相关病变图像进行输出,形成辅助诊断结果;所述的用户交互模块用于医生对计算机诊断结果的确认或修改以及对医嘱的输入
利用上述系统的光学相干层析图像视网膜病变智能检测方法,包括如下步骤:
步骤1:图像获取模块获取患者的视网膜OCT数据,并通过相应的处理转换成OCT图像,对得到的OCT图像进行数据标注,每张图像对应一个序号;
步骤2:图像获取模块1将得到的视网膜OCT图像输入到图像预处理模块2进行预处理,实现图像去噪和增强;
步骤3:图像预处理模块2将预处理后的视网膜OCT图像输入到视网膜病变分析模块3的深度CNN结构中得到不同病变和正常图像的特征值,从而进行病变的识别和分类,利用识别得到病变图像的图像序号,实现对病变位置的定位,正常和每种病变各自对应一个特征值;
步骤4:视网膜病变分析模块3的视网膜信息量化模块对OCT图像中的视网膜进行分层,利用分层信息,计算视网膜厚度和杯盘比等,并对视网膜病变分类模块得到的病变图像进行标记,提取病变区域信息;
步骤5:病例报告输出模块4将视网膜病变分析模块3得到的病变图像序列和病变区域信息转换成文字信息并配以相应OCT图像,形成计算机辅助诊断报告,供医生进一步分析病情;其中的用户交互模块用于实现医生对辅助诊断结果的确认或修改以及医嘱的输入。
步骤2中,图像去噪使用高斯模糊、中值滤波和均值滤波,并引入各向异性扩散滤波算法实现图像去噪和增强,并基于gamma(伽马)曲线实现对图像对比度和亮度的调整。
如图2所示,步骤3中,视网膜病变分析模块3包含视网膜病变分类模块和视网膜信息量化模块;其中,视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块;数据扩增模块是指基于数据增强技术实现对OCT图像数据的拓展,数据增强技术采用翻转、加噪、模糊、变形或亮度调节等基本图形处理操作的一种或几种组合;模型训练模块是结合迁移学习策略,利用深度CNN(如AlexNet,VGGNet,GoogLeNet,ResNet等)结构实现视网膜病变(黄斑病变、视乳头病变、玻璃膜疣、浆液性/出血性视网膜病变、视网膜劈裂、视网膜脱离、玻璃体黄斑牵引、脉络膜新生血管等)的识别和分类。
与使用随机初始化的CNN结构相比,结合迁移学习策略的方法既可以加快网络训练速度,也可以减轻由于训练数据量过小而产生的过拟合现象,更适合小规模医学图像的识别模型构建。本实例采用AlexNet作为与迁移学习策略结合的CNN网络。图3是视网膜病变分析模块所用的迁移学习过程。迁移学习网络是以ImageNet数据集上训练好的AlexNet模型(预训练网络)为基础网络,保持卷积层参数不变,调整全连接层参数,利用预训练模型权重(迁移参数)对目标网络进行初始化,再用目标网络数据集(分为训练集和验证集)对该目标网络进行微调,采用随机梯度下降法减小实际与期望值之间的差异,并利用反向传播计算梯度系数,最后得到适用于目标网络的深度学习模型。与其他模型相比,AlexNet利用ReLU作为激活函数,并利用dropout防止过拟合。
图4是AlexNet模型的结构图,其包含8个学习层,其中前五个为卷积层,第一、二、五卷积层后跟随池化层,后三个为全连接层,最后一层全连接层后跟随一个Softmax分类层,Softmax分类层用于实现对不同病变的分类,每个学习层均包含ReLU。如图3所示,首先在ImageNet数据集上预训练AlexNet得到基础网络,然后保持卷积层参数不变,调整全连接层的参数,然后根据目标数据集,微调目标网络;具体而言,训练时随机初始化全连接层的权重并将预训练AlexNet模型的权重作为其它学习层的初始权重,随机初始化的学习层设置为0.01,所有迁移参数的学习层学习率设为0.001,模型采用“step”学习策略,学习率衰减步长(stepsize)可设置为2000,最大迭代次数为10000,梯度更新权重(momentum)为0.9,权重衰减(weight decay)为0.0005。
模型测试模块是利用模型训练模块得到的模型对输入图像进行测试;模型对病变的检测性能分析采用敏感性、特异性、漏检率、误检率和准确性为评价标准,其中,敏感性表征模型识别病变图像的能力,特异性表征模型识别正常图像的能力,准确性表征模型识别图像的能力,是对模型性能的整体评价,具体计算公式如下:
步骤4中,视网膜病变分析模块3中的视网膜信息量化模块是利用图像分割技术提取视网膜各层厚度、杯盘比等量化信息,以及对被标记为病变图像的进行病灶标记;其中,利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型等综合技术,对OCT图像中的视网膜各层进行分割,自动提取层状结构轮廓并获取视网膜厚度分布图;结合方向梯度直方图特征和极限学习机,通过视网膜色素上皮层断点评估杯盘比。
步骤5中,病例报告输出模块包含信息输出模块和用户交互模块,信息输出模块是利用病变图像的图像序列和特征值进行定位及病变分类,并将得到的病变信息转换成文字信息(病灶类型、视网膜厚度、杯盘比等)同时配以相应的图像,形成诊断报告分析病情;用户交互模块是让医生确认或修改病变信息并输入医嘱等,进而形成一份完整的诊断报告,供医生进一步分析。
上述具体实例方式用来解释本发明,而不是对本发明进行限制。在本发明的精神和权力要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。

Claims (7)

1.光学相干层析图像视网膜病变智能检测系统,包括图像获取模块、图像预处理模块、视网膜病变分析模块和病例报告输出模块,其特征在于:所述的图像获取模块用于获取检查者的视网膜OCT数据;所述的图像预处理模块对OCT图像进行预处理;所述的视网膜病变分析模块用于对视网膜病变的识别和分类以及对形态学参数的计算和病灶具体位置的标注;所述的病例报告输出模块根据视网膜病变分析结果形成辅助诊断结果,并让医生确认、修改或输入医嘱,从而形成诊断报告;所述的视网膜病变分析模块包含视网膜病变分类模块和视网膜信息量化模块;所述的视网膜病变分类模块利用结合迁移学习的CNN结构实现对不同视网膜病变的识别和分类,并通过提取病变图像的图像序列实现对病变图像定位和识别;所述的视网膜信息量化模块包含对病灶的定位和形态学参数计算,利用图像分割算法获得视网膜各层边界,以获得视网膜厚度和杯盘比。
2.根据权利要求1所述的光学相干层析图像视网膜病变智能检测系统,其特征在于:所述图像预处理模块的预处理包含图像去噪和增强。
3.根据权利要求1所述的光学相干层析图像视网膜病变智能检测系统,其特征在于:所述的病例报告输出模块包括病变信息输出模块和用户交互模块;所述的病变信息输出模块将视网膜病变分类模块和视网膜信息量化模块得到的结果转换成文字模式并配以病变图像进行输出,形成辅助诊断结果;所述的用户交互模块用于医生对辅助诊断结果的确认或修改以及对医嘱的输入。
4.利用权利要求1、2或3所述光学相干层析图像视网膜病变智能检测系统的检测方法,其特征在于:该方法包括如下步骤:
步骤1:图像获取模块获取患者的视网膜OCT数据,并转换成OCT图像;对得到的OCT图像进行数据标注,每张图像对应一个序号;
步骤2:图像预处理模块对图像获取模块得到的OCT图像进行预处理,利用图像去噪和增强技术提高图像质量;
步骤3:将图像预处理模块处理后的OCT图像输入到视网膜病变分析模块的CNN结构中得到不同病变和正常图像的特征值,从而进行病变识别和分类,利用识别得到病变图像的图像序列,实现对病变位置的定位,正常和每种病变各自对应一个特征值;所述的CNN结构结合迁移学习,包含于视网膜病变分类模块中;视网膜病变分类模块包含数据扩增模块、模型训练模块和模型测试模块;数据扩增模块基于数据增强技术实现对OCT图像数据库中的数据集进行拓展,数据增强技术采用翻转、加噪、模糊、变形或亮度调节中的一种或几种组合;将拓展后的数据集分为训练集和验证集,用于训练模型;模型训练模块是结合迁移学习策略,利用深度CNN结构实现视网膜病变的识别和分类;迁移学习网络是以ImageNet数据集上预先训练好的CNN模型为基础网络,保持卷积层参数不变,调整全连接层参数,利用预先训练好的CNN模型权重对目标网络进行初始化,再用目标网络数据集对该目标网络进行微调,采用随机梯度下降法减小实际与期望值之间的差异,并利用反向传播计算梯度系数,最后得到适用于目标网络的深度学习模型;模型测试模块是利用模型训练模块得到的模型对输入的OCT图像数据进行测试;
步骤4:视网膜病变分析模块的视网膜信息量化模块对OCT图像中的视网膜进行分层,利用分层信息,计算视网膜厚度和杯盘比,并对视网膜病变分类模块得到的病变图像进行标记,提取病变区域信息;
步骤5:病例报告输出模块将视网膜病变分析模块得到的病变图像序列和病变信息转换成文字信息,形成计算机辅助诊断报告,供医生进一步分析病情;其中的用户交互模块用于实现医生对计算机诊断结果的确认或修改以及医嘱的输入。
5.利用权利要求4所述光学相干层析图像视网膜病变智能检测系统的检测方法,其特征在于:步骤1中,视网膜OCT数据通过傅里叶变换转换成OCT图像。
6.利用权利要求4所述光学相干层析图像视网膜病变智能检测系统的检测方法,其特征在于:步骤2中,图像去噪使用高斯模糊、中值滤波和均值滤波,并引入各向异性扩散滤波算法实现图像去噪和增强,并基于gamma曲线实现对图像对比度和亮度的调整。
7.利用权利要求4所述光学相干层析图像视网膜病变智能检测系统的检测方法,其特征在于:步骤4中,视网膜信息量化模块利用异向滤波平滑、样条插值、峰值探测、贪婪算法和Snake模型综合技术,对OCT图像中的视网膜进行分割,自动提取层状结构轮廓实现视网膜分层,基于各层边界信息获取视网膜厚度分布图;结合方向梯度直方图特征和极限学习机,识别视网膜色素上皮层的两个断点;通过连接视网膜色素上皮层两个断点,得到一条直线,再将该直线向上平移150μm的距离,得到另一条直线,将第二条直线与视盘内边界的交点作为盘沿和视杯的划分,进而计算得到杯盘比。
CN201910188403.6A 2019-03-13 2019-03-13 光学相干层析图像视网膜病变智能检测系统及检测方法 Active CN110010219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910188403.6A CN110010219B (zh) 2019-03-13 2019-03-13 光学相干层析图像视网膜病变智能检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910188403.6A CN110010219B (zh) 2019-03-13 2019-03-13 光学相干层析图像视网膜病变智能检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN110010219A true CN110010219A (zh) 2019-07-12
CN110010219B CN110010219B (zh) 2021-12-10

Family

ID=67167002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188403.6A Active CN110010219B (zh) 2019-03-13 2019-03-13 光学相干层析图像视网膜病变智能检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN110010219B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN110659673A (zh) * 2019-09-04 2020-01-07 清华大学 视网膜光学相干层析体数据自动识别方法及装置
CN110689958A (zh) * 2019-09-09 2020-01-14 杭州憶盛医疗科技有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技(深圳)有限公司 影像报告生成方法、装置、终端及存储介质
CN111341462A (zh) * 2020-02-27 2020-06-26 上海泗科智能科技有限公司 一种基于深度学习的手机端糖尿病性视网膜病变筛查app
CN111354055A (zh) * 2020-03-13 2020-06-30 西南科技大学 基于深度学习的光学相干层析成像深度重建方法
CN111554377A (zh) * 2020-04-22 2020-08-18 首都医科大学附属北京同仁医院 眼前节实时医学图像监控系统及方法
CN111557651A (zh) * 2020-05-28 2020-08-21 复旦大学附属儿科医院 一种静脉渗出、静脉炎自动识别仪
CN111583208A (zh) * 2020-04-29 2020-08-25 重庆工程职业技术学院 一种根据多特征点辅助医学病灶影像识别的系统和工作方法
CN111739616A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN111785363A (zh) * 2020-06-03 2020-10-16 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种基于ai引导的慢性病辅助诊断系统
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112053321A (zh) * 2020-07-30 2020-12-08 中山大学中山眼科中心 一种识别高度近视视网膜病变的人工智能系统
CN112134916A (zh) * 2020-07-21 2020-12-25 南京邮电大学 一种基于深度强化学习的云边协同计算迁移方法
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN112233087A (zh) * 2020-10-14 2021-01-15 武汉楚精灵医疗科技有限公司 一种基于人工智能的眼科超声疾病诊断方法和系统
CN112446876A (zh) * 2020-12-11 2021-03-05 北京大恒普信医疗技术有限公司 基于图像的抗vegf指征判别方法、装置及电子设备
CN112508919A (zh) * 2020-12-11 2021-03-16 北京大恒普信医疗技术有限公司 图像处理方法及装置、电子设备、可读存储介质
CN112652394A (zh) * 2021-01-14 2021-04-13 浙江工商大学 基于多病灶目标检测的早产儿视网膜病变诊断系统
WO2021073117A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 Oct 图像分割方法、装置、设备及存储介质
CN112950577A (zh) * 2021-02-26 2021-06-11 南方科技大学 图像处理方法、装置、电子设备和存储介质
CN113487499A (zh) * 2021-06-23 2021-10-08 南京诺源医疗器械有限公司 一种医疗光学成像用控制系统
TWI742782B (zh) * 2020-07-28 2021-10-11 國立勤益科技大學 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
CN113781381A (zh) * 2020-06-05 2021-12-10 中山大学中山眼科中心 一种识别慢性肾病图像的系统
US20210407637A1 (en) * 2020-06-24 2021-12-30 Vuno Inc. Method to display lesion readings result
CN114209278A (zh) * 2021-12-14 2022-03-22 复旦大学 一种基于光学相干层析成像的深度学习皮肤病诊断系统
CN114841952A (zh) * 2022-04-28 2022-08-02 华南理工大学 一种云边协同的早产儿视网膜病变检测系统及检测方法
CN116777794A (zh) * 2023-08-17 2023-09-19 简阳市人民医院 一种角膜异物图像的处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679198A (zh) * 2013-12-10 2014-03-26 苏州大学 一种基于k近邻的视网膜内节/外节缺失自动检测方法
CN103854284A (zh) * 2014-02-26 2014-06-11 苏州大学 基于三维图搜索浆液性色素上皮层脱离的视网膜分割方法
CN107392909A (zh) * 2017-06-22 2017-11-24 苏州大学 基于神经网络与约束图搜索算法的oct图像层分割方法
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
CN108305241A (zh) * 2017-09-06 2018-07-20 南京理工大学 基于深度投票模型的sd-oct图像ga病变分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679198A (zh) * 2013-12-10 2014-03-26 苏州大学 一种基于k近邻的视网膜内节/外节缺失自动检测方法
CN103854284A (zh) * 2014-02-26 2014-06-11 苏州大学 基于三维图搜索浆液性色素上皮层脱离的视网膜分割方法
CN107392909A (zh) * 2017-06-22 2017-11-24 苏州大学 基于神经网络与约束图搜索算法的oct图像层分割方法
CN108305241A (zh) * 2017-09-06 2018-07-20 南京理工大学 基于深度投票模型的sd-oct图像ga病变分割方法
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴新: "基于深度学习的视网膜病变光学相干断层图像识别", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
王玉萍: "基于OCT图像的青光眼病变定量分析研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110367913B (zh) * 2019-07-29 2021-09-28 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN110659673A (zh) * 2019-09-04 2020-01-07 清华大学 视网膜光学相干层析体数据自动识别方法及装置
CN110689958A (zh) * 2019-09-09 2020-01-14 杭州憶盛医疗科技有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
WO2021073117A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 Oct 图像分割方法、装置、设备及存储介质
CN110738655B (zh) * 2019-10-23 2024-04-26 腾讯科技(深圳)有限公司 影像报告生成方法、装置、终端及存储介质
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技(深圳)有限公司 影像报告生成方法、装置、终端及存储介质
CN111341462A (zh) * 2020-02-27 2020-06-26 上海泗科智能科技有限公司 一种基于深度学习的手机端糖尿病性视网膜病变筛查app
CN111354055A (zh) * 2020-03-13 2020-06-30 西南科技大学 基于深度学习的光学相干层析成像深度重建方法
CN111354055B (zh) * 2020-03-13 2022-03-08 西南科技大学 基于深度学习的光学相干层析成像深度重建方法
CN111554377A (zh) * 2020-04-22 2020-08-18 首都医科大学附属北京同仁医院 眼前节实时医学图像监控系统及方法
CN111583208B (zh) * 2020-04-29 2023-08-11 重庆工程职业技术学院 一种根据多特征点辅助医学病灶影像识别的系统和工作方法
CN111583208A (zh) * 2020-04-29 2020-08-25 重庆工程职业技术学院 一种根据多特征点辅助医学病灶影像识别的系统和工作方法
CN111557651A (zh) * 2020-05-28 2020-08-21 复旦大学附属儿科医院 一种静脉渗出、静脉炎自动识别仪
CN111557651B (zh) * 2020-05-28 2024-03-12 复旦大学附属儿科医院 一种静脉渗出、静脉炎自动识别仪
CN111785363A (zh) * 2020-06-03 2020-10-16 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种基于ai引导的慢性病辅助诊断系统
CN113781381A (zh) * 2020-06-05 2021-12-10 中山大学中山眼科中心 一种识别慢性肾病图像的系统
CN113781381B (zh) * 2020-06-05 2023-09-26 中山大学中山眼科中心 一种识别慢性肾病图像的系统
US20210407637A1 (en) * 2020-06-24 2021-12-30 Vuno Inc. Method to display lesion readings result
CN111739616A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN111739616B (zh) * 2020-07-20 2020-12-01 平安国际智慧城市科技股份有限公司 眼部图像的处理方法、装置、设备及存储介质
CN112134916A (zh) * 2020-07-21 2020-12-25 南京邮电大学 一种基于深度强化学习的云边协同计算迁移方法
US11288801B2 (en) 2020-07-28 2022-03-29 National Chin-Yi University Of Technology Eye care device and method for assessing and predicting dementia
TWI742782B (zh) * 2020-07-28 2021-10-11 國立勤益科技大學 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
CN112053321A (zh) * 2020-07-30 2020-12-08 中山大学中山眼科中心 一种识别高度近视视网膜病变的人工智能系统
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN112233087A (zh) * 2020-10-14 2021-01-15 武汉楚精灵医疗科技有限公司 一种基于人工智能的眼科超声疾病诊断方法和系统
CN112508919A (zh) * 2020-12-11 2021-03-16 北京大恒普信医疗技术有限公司 图像处理方法及装置、电子设备、可读存储介质
CN112446876A (zh) * 2020-12-11 2021-03-05 北京大恒普信医疗技术有限公司 基于图像的抗vegf指征判别方法、装置及电子设备
CN112652394A (zh) * 2021-01-14 2021-04-13 浙江工商大学 基于多病灶目标检测的早产儿视网膜病变诊断系统
CN112950577B (zh) * 2021-02-26 2024-01-16 南方科技大学 图像处理方法、装置、电子设备和存储介质
CN112950577A (zh) * 2021-02-26 2021-06-11 南方科技大学 图像处理方法、装置、电子设备和存储介质
CN113487499A (zh) * 2021-06-23 2021-10-08 南京诺源医疗器械有限公司 一种医疗光学成像用控制系统
CN114209278A (zh) * 2021-12-14 2022-03-22 复旦大学 一种基于光学相干层析成像的深度学习皮肤病诊断系统
CN114209278B (zh) * 2021-12-14 2023-08-25 复旦大学 一种基于光学相干层析成像的深度学习皮肤病诊断系统
CN114841952A (zh) * 2022-04-28 2022-08-02 华南理工大学 一种云边协同的早产儿视网膜病变检测系统及检测方法
CN114841952B (zh) * 2022-04-28 2024-05-03 华南理工大学 一种云边协同的早产儿视网膜病变检测系统及检测方法
CN116777794A (zh) * 2023-08-17 2023-09-19 简阳市人民医院 一种角膜异物图像的处理方法及系统
CN116777794B (zh) * 2023-08-17 2023-11-03 简阳市人民医院 一种角膜异物图像的处理方法及系统

Also Published As

Publication number Publication date
CN110010219B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN110010219A (zh) 光学相干层析图像视网膜病变智能检测系统及检测方法
Li et al. Deep learning based early stage diabetic retinopathy detection using optical coherence tomography
CN107045720B (zh) 基于人工神经网络的识别眼底图像病变的处理系统
CN105513077B (zh) 一种用于糖尿病性视网膜病变筛查的系统
CN109166124A (zh) 一种基于连通区域的视网膜血管形态量化方法
CN108553079A (zh) 基于眼底图像的病变识别系统
Liu et al. ARGALI: an automatic cup-to-disc ratio measurement system for glaucoma analysis using level-set image processing
CN104809480A (zh) 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法
CN109859172A (zh) 基于眼底造影图像深度学习的糖网病变无灌注区识别方法
CN108765422A (zh) 一种视网膜图像血管自动分割方法
CN110338777A (zh) 融合心率变异特征和面部表情特征的疼痛评估方法
CN109691979A (zh) 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN113243887B (zh) 一种老年黄斑变性智能诊疗仪
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
Kumar et al. Automated detection of eye related diseases using digital image processing
CN110400301A (zh) 一种基于眼部特征的脑卒中人工智能筛查方法
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
EP3417401B1 (en) Method for reducing artifacts in oct using machine learning techniques
Mahendran et al. Morphological process based segmentation for the detection of exudates from the retinal images of diabetic patients
CN105205813A (zh) 角膜老年环自动检测方法
CN115147273A (zh) 一种基于域适应的眼科oct术后轮廓图生成方法及系统
Al-Oudat et al. A smart intraocular pressure risk assessment framework using frontal eye image analysis
CN103679198A (zh) 一种基于k近邻的视网膜内节/外节缺失自动检测方法
CN113558564A (zh) 一种基于单纯高度近视数据库构建的数据处理系统
Aloudat et al. Histogram analysis for automatic blood vessels detection: First step of IOP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant