CN111179258A - 一种识别视网膜出血图像的人工智能方法及系统 - Google Patents

一种识别视网膜出血图像的人工智能方法及系统 Download PDF

Info

Publication number
CN111179258A
CN111179258A CN201911419425.5A CN201911419425A CN111179258A CN 111179258 A CN111179258 A CN 111179258A CN 201911419425 A CN201911419425 A CN 201911419425A CN 111179258 A CN111179258 A CN 111179258A
Authority
CN
China
Prior art keywords
retinal hemorrhage
wide
area
images
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911419425.5A
Other languages
English (en)
Inventor
林浩添
李中文
郭翀
林铎儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Ophthalmic Center
Original Assignee
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Ophthalmic Center filed Critical Zhongshan Ophthalmic Center
Priority to CN201911419425.5A priority Critical patent/CN111179258A/zh
Publication of CN111179258A publication Critical patent/CN111179258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学图像处理领域，更具体地涉及一种识别视网膜出血图像的人工智能方法及系统，包括以下步骤：对卷积神经网络进行深度学习训练得到识别视网膜出血模型；将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。本发明依靠人工智能深度学习的敏感性和准确性对广域眼底图像的视网膜进行分析，使得视网膜出血的早期筛查更准确、更智能、更便携，有利于提高筛查效率，减少其对人群造成不可逆的损害。

Description

一种识别视网膜出血图像的人工智能方法及系统
技术领域
本发明涉及医学图像处理领域，更具体地，涉及一种识别视网膜出血图像的人工智能方法及系统。
背景技术
视网膜出血的检查过程往往需要对患者进行散瞳，瞳孔散大时间约需10分钟，然后需要专业的眼科医生通过眼底镜进行全视网膜的探查，并判断出血需要治疗的紧急程度。其检查过程费时费力，对于目前的视网膜出血的检查来说，主要有以下几个问题：
1.视网膜出血的检查只有在眼科专科才能进行，尤其在疾病的初发期，症状往往不明显，患者也经常因此而错过了最佳的治疗时间，针对较周边的出血，往往需要患者和专业有经验的眼科医生两者配合才能发现。
2.在检查出视网膜出血患者后，要确定患者需要治疗的紧急程度，往往有些视网膜出血，如黄斑出血会造成视力急剧降低，这往往需要专业的眼底病科医生才能指导，然而社区医院或者级别较低的综合医院以及体检中心并不具备专业的眼底病医生，无法对其紧急程度进行及时的判定。
3.广域眼底图像虽然可以涵盖几乎全周的视网膜，但是准确解读此眼底图像需要经过专业培训的眼科医生并经过较长时间经验的积累。
综上所述，目前进行视网膜出血筛查的只局限在少部分病人，大部分患者往往是在视功能损害出血自觉症状后才会到医院眼科进行检查。这往往导致诊治的延误和视力的不可逆损害，严重者导致无法挽回的视力永久失明，给个人、家庭、社会造成严重的负担。但详细检查视网膜出血耗时耗力，并需要专业的、经验丰富的眼底科医生，实施大规模人群筛查可能性较低，因此，实现快速、有效的视网膜出血自动筛查，可有效在此病的早期对其做出诊断，同时对出血的紧急程度进行自动判定，让患者正确了解自己的病情，针对提示情况紧急的，立即到医院眼科就诊治疗，以免视功能发生不可逆的损害。视网膜出血如能做到及时发现，早期治疗，尤其是在黄斑中心受到侵犯前，视功能恢复往往是理想的。同时视网膜出血也可能是早期全身病例如高血压、糖尿病、血液性疾病等的一种早期表现，对其的筛查也有助于此类全身病的早期发现和早期诊治。所以，实施大规模人群筛查视网膜出血是非常有必要的。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种识别视网膜出血图像的人工智能方法及系统，依靠人工智能深度学习的敏感性和准确性对广域眼底图像的视网膜进行分析，使得视网膜出血的早期筛查更准确、更智能、更便携，有利于提高筛查效率，减少其对人群造成不可逆的损害。
本发明采取的技术方案是，
一种识别视网膜出血图像的人工智能方法，包括以下步骤：
对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
本发明一种识别视网膜出血图像的人工智能方法，实现快速便携地筛查广域眼底图像的视网膜出血症状，其方法步骤为：首先利用大量的广域眼底图像对卷积神经网络进行深度学习训练，从而得到识别视网膜出血模型；其次将广域眼底图像输入到识别视网膜出血模型中，识别视网膜出血模型判断广域眼底图像是否出现视网膜出血；当判断为视网膜出血时，识别视网膜出血模型利用热图定位广域眼底图像中视网膜出血病灶部位。本发明利用人工智能深度学习模型的高度敏感性和准确性，通过识别视网膜出血模型对广域眼底图像中的视网膜进行分析处理，准确高效地判断并定位视网膜出血病灶部位，使得视网膜出血的早期筛查更准确、智能、便携，有利于提高筛查的效率，减少其对人群视力造成的不可逆的损害。
进一步地，还包括：
根据广域眼底图像中的视网膜结构确定广域眼底图像的黄斑区；
判断所述视网膜出血病灶部位是否处于黄斑区确定是否存在黄斑性视网膜出血。
本发明通过识别视网膜出血模型判断是否存在视网膜出血并利用热图定位视网膜出血病灶部位，并且视网膜出血模型根据广域眼底图像中的视网膜的结构确定眼底中心的黄斑区，并对黄斑区进行标注，若广域眼底图像判断存在视网膜出血后，根据定位的病灶部位是否落在标注的黄斑区域内，进而判断是否存在黄斑性视网膜出血，若定位的病灶部位落在标注的黄斑区域内则判断为黄斑性视网膜出血，否则判断为非黄斑性视网膜出血。本发明识别视网膜出血图像的人工智能方法，不仅能够准确判断并定位视网膜出血病灶部位，而且能够准确识别出是否存在黄斑性视网膜出血，使患者能够及时发现病情，在黄斑区受到侵犯前及时治疗恢复，避免视功能发生不可逆的损害。
进一步地，所述根据广域眼底图像中的视网膜结构确定黄斑区域，还包括：
根据广域眼底图像中的视网膜结构采用白色圆圈确定广域眼底图像的黄斑区域。
本发明根据广域眼底图像中的视网膜结构利用白色圆圈对眼底中心的黄斑区域进行标注，白色圆圈内的范围确定表示为黄斑区域，使得患者能够直观能识别出眼底图像的黄斑区。本发明采用白色圆圈对广域眼底图像的黄斑区进行标注，有利于用户更加直观地观察黄斑区的病变情况，为后续的病情判断做出更准确的判断。
进一步地，包括：当判断存在黄斑性视网膜出血时，白色圆圈变换为红色圆圈。
本发明根据广域眼底图像中的视网膜结构采用白色圆圈对黄斑区进行标注，当识别视网膜出血模型判断广域眼底图像为视网膜出血图像并定位其病灶部位后，继续判断病灶部位是否落在了白色圆圈内，若落在白色圆圈内，则白色圆圈变换为红色圆圈，说明广域眼底图像为黄斑性出血图像，若不落在白色圆圈内，则白色圆圈不变换，说明广域眼底图像为非黄斑性出血图像。本发明通过白色圆圈变换为红色圆圈来显示黄斑性出血症状，非常直观地传递病情信息，有助于患者对自身的病情作出快速准确的判断，进而实现及时治疗的目的。
进一步地，所述对卷积神经网络进行深度学习训练得到识别视网膜出血模型，具体包括：
将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
本发明通过识别视网膜出血模型来实现快速有效地识别广域眼底图像中的视网膜出血症状，其中识别视网膜出血模型的深度学习训练步骤如下：首先将大量的广域眼底图像进行二分类为视网膜出血图像和非视网膜出血图像；然后对基于上述步骤分类后的广域眼底图像进行图像处理，通过调节图像的明暗程度和/或图像位移和/或图像旋转和/或镜面反转等图像处理方法将图像的数量增量至原始数量至少2倍以上；最后对图像处理完成后的广域眼底图像利用卷积神经网络进行深度学习训练，最终得到最优的的模型为识别视网膜出血模型。本发明采用深度学习训练得到的识别视网膜出血模型，准确、高效、智能化地对用户广域眼底图像中的视网膜出血进行分析，使得视网膜出血的早期筛查更加准确和快捷，有利于提高筛查的效率。
进一步地，所述在所述广域眼底图像上定位视网膜出血病灶部位，具体包括：
对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
本发明通过识别视网膜出血模型对广域眼底图像中视网膜出血进行特征提取处理后，采用显著性映射(Saliency Map)算法计算广域眼底图像上的每个像素对于卷积神经网络分类结果的影响程度，然后选取对分类结果影响程度最大的区域作为视网膜出血病灶部位，本发明通过以上步骤能够准确高效地识别视网膜出血的具体部位，有助于后续的治疗指导。
一种识别视网膜出血图像的人工智能系统，包括：
训练模块，用于对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
第一判断模块，用于将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
定位模块，用于当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
本发明一种识别视网膜出血图像的人工智能系统，实现快速便携地筛查广域眼底图像的视网膜出血症状，其系统原理为：首先训练模块利用大量的广域眼底图像对卷积神经网络进行深度学习训练，从而得到识别视网膜出血模型；其次通过第一判断模块将广域眼底图像输入到识别视网膜出血模型中，识别视网膜出血模型判断广域眼底图像是否出现视网膜出血；当判断为视网膜出血时，在定位模块中，识别视网膜出血模型利用热图定位广域眼底图像中视网膜出血病灶部位。本发明一种识别视网膜出血图像的人工智能系统利用人工智能深度学习模型的高度敏感性和准确性，通过识别视网膜出血模型对广域眼底图像中的视网膜进行分析处理，准确高效地判断并定位视网膜出血病灶部位，使得视网膜出血的早期筛查更准确、智能、便携，有利于提高筛查的效率，减少其对人群视力造成的不可逆的损害。
进一步地，还包括：
确定黄斑区模块，用于根据广域眼底图像中的视网膜结构确定广域眼底图像的黄斑区；
第二判断模块，用于判断视网膜出血病灶部位是否处于黄斑区确定是否存在黄斑性视网膜出血。
本发明中确定黄斑区模块根据广域眼底图像中的视网膜的结构确定眼底中心的黄斑区，判断定位模块中定位的视网膜出血病灶部位是否落在黄斑区内，进而判断是否存在黄斑性视网膜出血，若定位的视网膜出血病灶部位落在确定的黄斑区内则判断为黄斑性视网膜出血，否则判断为非黄斑性视网膜出血。本发明识别视网膜出血图像的人工智能系统，不仅能够准确判断并定位视网膜出血病灶部位，而且能够准确识别是否存在黄斑性视网膜出血，有利于患者及时发现病情，在黄斑区受到侵犯前及时治疗恢复，避免视功能发生不可逆的损害。
进一步地，所述训练模块具体包括：
分类单元，用于将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
增量单元，用于对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
训练单元，用于采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
本发明训练模块通过识别视网膜出血模型来实现快速有效地识别广域眼底图像中的视网膜出血症状，其中训练模块的原理如下：首先通过分类单元将大量的广域眼底图像进行二分类为视网膜出血图像和非视网膜出血图像；然后利用增量单元对上述二分类后的广域眼底图像进行图像处理，通过调节图像的明暗程度和/或图像位移和/或图像旋转和/或镜面反转等图像处理方法将图像的数量增量至原始数量的2倍或者2倍以上；最后通过训练单元对图像处理完成后的广域眼底图像采用神经网络进行深度学习训练，最终得到最优的的模型为识别视网膜出血模型。本发明通过以上处理单元得到的训练模块，能够准确高效智能化地对用户广域眼底图像的视网膜出血进行分析，使得视网膜出血的早起筛查更加准确和快捷，有利于提高筛查的效率。
进一步地，所述定位模块具体包括：
影响计算单元，用于对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
选取位置单元，用于选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
本发明中的定位模块实现对广域眼底图像中视网膜出血的病灶部位进行定位，其实现原理如下：首先通过影响计算单元对所述广域眼底图像上的视网膜出血进行特征提起处理后，采用显著性映射(Saliency Map)算法计算广域眼底图像上的每个像素对于卷积神经网络分类结果的影响程度，然后通过位置选取单元选取对分类结果影响程度最大的区域作为视网膜出血病灶部位，通过以上影响计算单元和位置选取单元准确高效直观地定位视网膜出血的病灶部位，有利于后续的治疗和指导。
与现有技术相比，本发明的有益效果为：
(1)高效性：本发明识别广域眼底视网膜出血的准确率为98.0％，图片分析每张耗时约3-4s，同时可以满足批量上传分析照片，效率远远高于其他检查方法。
(2)规模扩大：本发明整合入广域眼底照相仪，可实现大规模人群视网膜出血的筛查。由于广域眼底照相速度快，分析照片无需专业眼科医生，在采集照片时可快速获得分析结果和指导意见，这为大规模人群筛查奠定了基础。
(3)便捷性：用户可在任何时间、任何有网络的地点。将广域眼底图像上传至网上下载的系统便可快速获得分析结果。
(4)适用范围广：个人或者团体例如社区医院、基层医院、体检中心，都可以将广域眼底图像上传于该软件上，并且不受任何条件的使用限制。
(5)经济性：节省专门培训或者聘用眼底病科医生所需要的支出。
附图说明
图1为本发明一种识别视网膜出血图像的人工智能方法的步骤图。
图2为Inception-ResNetV2神经网络模型图。
图3为本发明一种识别视网膜出血图像的人工智能系统的结构图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示，图1为本发明一种识别视网膜出血图像的人工智能方法的步骤图，包括以下步骤：
S1、对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
S2、将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
S3、当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
本发明实施例中，实现了准确高效地对视网膜出血进行筛查，其中识别视网膜出血图像的人工智能方法的具体实施过程为：在拥有大量分类明确的广域眼底图像的前提下，首先利用深度学习方法对卷积神经网络进行训练得到可以准确高效识别广域眼底图像中视网膜出血的识别视网膜出血模型；其次将所需识别的广域眼底图像输入到识别视网膜出血模型中，识别视网膜出血模型根据特征提取识别出是否存在视网膜出血，并判断是否为视网膜出血图像；最后在视网膜出血图像上定位视网膜出血的病灶部位。
优选地，本发明实施例中，步骤S1具体包括以下步骤：
S11、将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
S12、对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
S13、采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
本发明实施例中，一种识别视网膜出血图像的人工智能方法是通过识别视网膜出血模型实现快速便携地筛查广域眼底图像的视网膜出血症状，其中对卷积神经网络进行深度学习训练得到识别视网膜出血模型的过程如下：首先对大量的广域眼底图像进行二分类为视网膜出血图像和非视网膜出血图像；其次对二分类后的广域眼底图像进行图像处理，通过调节图像的明暗程度和/或图像位移和/或图像旋转和/或镜面反转等图像处理方法将图像的数量增量至原始数量的2倍或者2倍以上，最后利用图像处理完成后的广域眼底图像对卷积神经网络Inception-ResNetV2进行深度学习训练，最终选择最优的的模型作为识别视网膜出血模型。
具体地，本发明实施例中采用的是Inception-ResNetV2神经网络模型。如图2所示为Inception-ResNetV2网络结构图。其中，Average Pooling表示平均池化层，Dropout表示防拟合层，Softmax表示分类层，Conv表示卷积层，MaxPool表示最大池化层，Filter concat表示叠加层。
优选地，本发明实施例中，步骤S3具体包括以下步骤：
S31、对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
S32、选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
本发明实施例中，步骤S3采用显著性映射(Saliency Map)算法定位视网膜出血病灶部位，其中具体实施过程为：卷积神经网络Inception-ResNetV2深度学习训练后得到的识别视网膜出血模型对广域眼底图像进行特征提取识别出视网膜出血图像后，将卷积神经网络的权重固定，计算输出类相对输入图像每个像素的梯度
Figure BDA0002351947980000081
并以此梯度作为每个像素对最终结果的影响因子，将此影响因子以图片的方法显示，即可显示出视网膜出血图像上的每个像素对于Inception-ResNetV2卷积神经网络模型分类结果的影响最大的区域，选取影响程度最大的区域，即热区，所述热区代表视网膜出血区域，并将此定位为病灶部位。
更加具体地，具体实施计算过程为：假设广域眼底图像为Im×n，记I在卷积神经网络中判断为属于某个类别的概率为Sc(I)。
在步骤S21中，将概率Sc(I)在I0处一阶泰勒展开，得到等式：
Sc(I)≈ωTI+b
其中ω是Sc(I)在I0的一阶导数，用singlebackprop方法求解：
Figure BDA0002351947980000082
在步骤S22中，计算对判断结果影响程度最大的像素区域：
Figure BDA0002351947980000083
优选地，本发明实施例还包括：
S4、根据广域眼底图像中的视网膜结构确定广域眼底图像的黄斑区；
S5、判断所述视网膜出血病灶部位是否处于黄斑区确定是否存在黄斑性视网膜出血。
在步骤S4中，具体包括：根据广域眼底图像中的视网膜结构采用白色圆圈确定广域眼底图像的黄斑区域。
优选地，本发明实施例中还包括：S6、当判断存在黄斑性视网膜出血时，白色圆圈变换为红色圆圈。
本发明实施例中，不仅能够对视网膜出血的症状进行识别，还能根据视网膜的结构判断是否为黄斑性视网膜出血，其识别黄斑性视网膜出血的具体实施过程为：根据广域眼底图像中的视网膜结果采用白色圆圈自动确定广域眼底图像的黄斑区，即白色圆圈内表示眼底中心黄斑区的位置，当识别视网膜出血模型定位视网膜出血的病灶部位后，根据病灶部位是否落在白色圆圈内判断是否为黄斑性出血，当病灶部位不存在白色圆圈内则判断广域眼底图像为非黄斑性视网膜出血，当病灶部位存在白色圆圈内，则白色圆圈变换为红色圆圈，判断广域眼底图像为黄斑性视网膜出血。具体地，本发明实施例还能够根据黄斑性是否出血，自动判断出血的紧急程度，并根据出血的紧急程度给出最佳的眼科就诊治疗时限。
具体地，本发明实施例中，以上方法步骤均在云平台上运行，广域眼底图像由用户上传至云平台。
将卷积神经网络或者将卷积神经网络和显著性区域算法整合在云平台上，使得不同用户群都可以共享云平台上的卷积神经网络或者卷积神经网络和显著性区域算法，即使是在不具备相关硬件设备和软件条件的基层医院，也能通过上传患者的广域眼底图像到云平台进行分析，辅助医生进行准确的病变筛查和病情评估，而且大大地提高了效率。
云平台主要包括四栏：①平台简介，用于描述平台的结构和可以使用的资源；②使用说明，用于指导用户按照流程的步骤快速学会平台的使用；③广域眼底图像上分析，用于广域眼底图像的上传和一键分析；④联系我们，当用户在使用上有困难或者有什么意见，可以通过此栏留言，对用户的需求迅速做出反馈，逐步优化平台的使用。
其具体实施过程如下：
(1)用户进入云平台，通过注册申请账号后获得云平台的使用权利。
(2)用户将具有独立编号的广域眼底图像(一般广域眼底照相仪自动生成)，通过用户自己的电脑选择单独或批量上传至此云平台，并设置分析结果保存的位置后，点击一键分析按钮，最后将分析后的图片存入用户电脑中指定保存的位置。
实施例2
如图3所示，图3为本发明一种识别视网膜出血图像的人工智能系统的结构图，其系统包括：
训练模块，用于对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
第一判断模块，用于将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
定位模块，用于当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
本发明实施例中，实现了准确高效地对视网膜出血进行筛查，其中识别视网膜出血图像的人工智能系统的实施为：在拥有大量分类明确的广域眼底图像的前提下，首先训练模块利用深度学习方法对卷积神经网络进行训练得到可以准确高效识别广域眼底图像中视网膜出血的识别视网膜出血模型；其次第一判断模块将所需识别的广域眼底图像输入到识别视网膜出血模型中，识别视网膜出血模型根据特征提取识别出是否存在视网膜出血，并判断是否为视网膜出血图像；最后通过定位模块在视网膜出血图像上定位视网膜出血的病灶部位。
其中，所述训练模块具体包括：
分类单元，用于将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
增量单元，用于对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
训练单元，用于采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
其中，所述定位模块具体包括：
影响计算单元，用于对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
选取位置单元，用于选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
本发明实施例中，定位模块采用显著性映射(Saliency Map)算法定位视网膜出血病灶部位，其具体实施过程为：影响计算单元通过卷积神经网络Inception-ResNetV2深度学习训练后得到的识别视网膜出血模型对广域眼底图像进行特征提取识别出视网膜出血图像后，将卷积神经网络的权重固定，计算输出类相对输入图像每个像素的梯度
Figure BDA0002351947980000101
并以此梯度作为每个像素对最终结果的影响因子，将此影响因子以图片的方法显示，即可显示出视网膜出血图像上的每个像素对于Inception-ResNetV2卷积神经网络模型分类结果的影响最大的区域，通过选取位置单元选取影响程度最大的区域，即热区，所述热区代表视网膜出血区域，并将此定位为病灶部位。
更加具体地，假设广域眼底图像为Im×n，记I在卷积神经网络中判断为属于某个类别的概率为Sc(I)。
在步骤S21中，将概率Sc(I)在I0处一阶泰勒展开，得到等式：
Sc(I)≈ωTI+b
其中ω是Sc(I)在I0的一阶导数，用singlebackprop方法求解：
Figure BDA0002351947980000111
在步骤S22中，计算对判断结果影响程度最大的像素区域：
Figure BDA0002351947980000112
优选地，本发明实施例中还包括：
确定黄斑区模块，用于根据广域眼底图像中的视网膜结构确定广域眼底图像的黄斑区；
第二判断模块，用于判断视网膜出血病灶部位是否处于黄斑区确定是否存在黄斑性视网膜出血。
具体地，本发明实施例中确定黄斑区模块包括：根据广域眼底图像中的视网膜结构采用白色圆圈确定广域眼底图像的黄斑区。
具体地，本发明实施例中还包括：变换模块，用于当判断存在黄斑性视网膜出血时，白色圆圈变换为红色圆圈。
针对本实施例一种识别视网膜出血的人工智能系统，在实际中具体使用步骤如下：
(1)在广域眼底照相仪上整合的系统，会在拍片后自动生成相应的结果报告随眼底图像一同打印出来给到患者；
(2)在网上下载的软件系统，用户需通过注册账号后获得使用权利；
(3)用户将具有独立编号的广域眼底图像(一般广域眼底照相仪自动生成)，通过用户自己的电脑或手机选择单独或批量上传人此系统，并设置分析结果保存的位置后，点击一键分析按钮，每张图片大概处理3-6秒，最后将分析后的图片存入用户电脑或手机中指定保存的位置。
(4)分析结果是根据图片的分类结果给出相应的建议，例如根据模型得到的结果图片，如黄斑区白色圆圈变成红色，则提示患者需立即到医院眼科就诊治疗，避免视功能发生不可逆的损害。
基于上述实施例，本发明的有益效果为：
(1)高效性：本发明识别广域眼底视网膜出血的准确率为98.0％，图片分析每张耗时约3-4s，同时可以满足批量上传分析照片，效率远远高于其他检查方法。
(2)规模扩大：本发明整合入广域眼底照相仪，可实现大规模人群视网膜出血的筛查。由于广域眼底照相速度快，分析照片无需专业眼科医生，在采集照片时可快速获得分析结果和指导意见，这为大规模人群筛查奠定了基础。
(3)便捷性：用户可在任何时间、任何有网络的地点。将广域眼底图像上传至网上下载的系统便可快速获得分析结果。
(4)适用范围广：个人或者团体例如社区医院、基层医院、体检中心，都可以将广域眼底图像上传于该软件上，并且不受任何条件的使用限制。
(5)经济性：节省专门培训或者聘用眼底病科医生所需要的支出。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种识别视网膜出血图像的人工智能方法，其特征在于，包括以下步骤：
对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
2.根据权利要求1所述的一种识别视网膜出血图像的人工智能方法，其特征在于，还包括：
根据广域眼底图像的视网膜结构确定广域眼底图像的黄斑区；
判断所述视网膜出血病灶部位是否处于黄斑区确定是否存在黄斑性视网膜出血。
3.根据权利要求1所述的一种识别视网膜出血图像的人工智能方法，其特征在于，所述根据广域眼底图像的视网膜结构确定黄斑区，还包括：
根据广域眼底图像的视网膜结构采用白色圆圈确定广域眼底图像的黄斑区。
4.根据权利要求3所述的一种识别视网膜出血图像的人工智能方法，其特征在于，包括：
当判断存在黄斑性视网膜出血时，白色圆圈变换为红色圆圈。
5.根据权利要求1所述的一种识别视网膜出血图像的人工智能方法，其特征在于，所述对卷积神经网络进行深度学习训练得到识别视网膜出血模型，具体包括：
将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
6.根据权利要求1所述的一种识别视网膜出血图像的人工智能方法，其特征在于，所述在所述广域眼底图像上定位视网膜出血病灶部位，具体包括：
对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
7.一种识别视网膜出血图像的人工智能系统，其特征在于，包括：
训练模块，用于对卷积神经网络进行深度学习训练得到识别视网膜出血模型；
第一判断模块，用于将广域眼底图像输入到所述识别视网膜出血模型中，判断所述广域眼底图像是否出现视网膜出血；
定位模块，用于当判断存在视网膜出血时，在所述广域眼底图像上定位视网膜出血病灶部位。
8.根据权利要求6所述的一种识别视网膜出血图像的人工智能系统，其特征在于，还包括：
确定黄斑区模块，用于根据广域眼底图像中的视网膜结构确定广域眼底图像的黄斑区；
第二判断模块，用于判断视网膜出血病灶部位是否处于黄斑区判断是否存在黄斑性视网膜出血。
9.根据权利要求6所述的一种识别视网膜出血图像的人工智能系统，其特征在于，所述训练模块具体包括：
分类单元，用于将大量广域眼底图像分类为视网膜出血图像和非视网膜出血图像；
增量单元，用于对分类后的所述广域眼底图像进行图像处理，以使分类后的所述广域眼底图像的数量增量至n倍，n为大于等于2的整数，所述图像处理包括调节明暗程度和/或图像位移和/或图像旋转和/或镜面反转；
训练单元，用于采用增量后的所述广域眼底图像对卷积神经网络进行深度学习训练，得到识别视网膜出血模型。
10.根据权利要求6所述的一种识别视网膜出血图像的人工智能系统，其特征在于，所述定位模块具体包括：
影响计算单元，用于对所述广域眼底图像中视网膜出血进行特征提取，计算广域眼底图像每个像素对于卷积神经网络分类结果的影响程度；
选取位置单元，用于选取对分类结果影响程度最大的区域作为视网膜出血病灶部位。
CN201911419425.5A 2019-12-31 2019-12-31 一种识别视网膜出血图像的人工智能方法及系统 Pending CN111179258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911419425.5A CN111179258A (zh) 2019-12-31 2019-12-31 一种识别视网膜出血图像的人工智能方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911419425.5A CN111179258A (zh) 2019-12-31 2019-12-31 一种识别视网膜出血图像的人工智能方法及系统

Publications (1)

Publication Number Publication Date
CN111179258A true CN111179258A (zh) 2020-05-19

Family

ID=70650612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911419425.5A Pending CN111179258A (zh) 2019-12-31 2019-12-31 一种识别视网膜出血图像的人工智能方法及系统

Country Status (1)

Country Link
CN (1) CN111179258A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112053321A (zh) * 2020-07-30 2020-12-08 中山大学中山眼科中心 一种识别高度近视视网膜病变的人工智能系统
WO2022097621A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843957A (zh) * 2009-08-24 2012-12-26 新加坡保健服务集团有限公司 一种用于检测视盘出血的方法及系统
CN105761258A (zh) * 2016-02-06 2016-07-13 上海市第人民医院 视网膜眼底图像的出血检测方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN110432860A (zh) * 2019-07-01 2019-11-12 中山大学中山眼科中心 基于深度学习识别广域眼底图中格变裂孔的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843957A (zh) * 2009-08-24 2012-12-26 新加坡保健服务集团有限公司 一种用于检测视盘出血的方法及系统
CN105761258A (zh) * 2016-02-06 2016-07-13 上海市第人民医院 视网膜眼底图像的出血检测方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN110432860A (zh) * 2019-07-01 2019-11-12 中山大学中山眼科中心 基于深度学习识别广域眼底图中格变裂孔的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高玮玮 等: "基于多模板匹配的局部自适应区域生长法在视网膜内出血自动检测中的应用" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053321A (zh) * 2020-07-30 2020-12-08 中山大学中山眼科中心 一种识别高度近视视网膜病变的人工智能系统
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
WO2022097621A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US20220076420A1 (en) Retinopathy recognition system
WO2018201632A1 (zh) 用于识别眼底图像病变的人工神经网络及系统
CN113646805A (zh) 眼科和全身性疾病的基于图像的检测
CN111179258A (zh) 一种识别视网膜出血图像的人工智能方法及系统
Chin et al. Automatic fovea location in retinal images using anatomical priors and vessel density
EP3944185A1 (en) Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
CN109961848A (zh) 黄斑图像分类方法和设备
CN111461218B (zh) 糖网病眼底图像的样本数据标注系统
CN112053321A (zh) 一种识别高度近视视网膜病变的人工智能系统
CN109344763A (zh) 一种基于卷积神经网络的斜眼检测方法
CN110432860B (zh) 基于深度学习识别广域眼底图中格变裂孔的方法和系统
Gupta et al. An efficient model for detection and classification of internal eye diseases using deep learning
CN117764957A (zh) 基于人工神经网络的青光眼图像特征提取的训练系统
CN111797900A (zh) 一种oct-a图像的动静脉分类方法及装置
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统
Antal et al. Evaluation of the grading performance of an ensemble-based microaneurysm detector
CN115661101A (zh) 基于随机采样和深度学习的早产儿视网膜病变检测系统
Gunasinghe et al. Comparison of pretrained feature extractors for glaucoma detection
CN110974151A (zh) 一种识别视网膜脱离的人工智能系统和方法
Li et al. Class-aware attention network for infectious keratitis diagnosis using corneal photographs
CN111374632B (zh) 视网膜病变检测方法、装置及计算机可读存储介质
CN111340778A (zh) 一种青光眼图像处理方法和设备
CN111259743A (zh) 一种近视图像深度学习识别模型训练方法及系统
Doan et al. Implementation of complete glaucoma diagnostic system using machine learning and retinal fundus image processing
Mostafa et al. Diagnosis of Glaucoma from Retinal Fundus Image Using Deep Transfer Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination