CN109636796A - 一种人工智能眼部图片分析方法、服务器和系统 - Google Patents

一种人工智能眼部图片分析方法、服务器和系统 Download PDF

Info

Publication number
CN109636796A
CN109636796A CN201811555137.8A CN201811555137A CN109636796A CN 109636796 A CN109636796 A CN 109636796A CN 201811555137 A CN201811555137 A CN 201811555137A CN 109636796 A CN109636796 A CN 109636796A
Authority
CN
China
Prior art keywords
eye
user
optical axis
deep learning
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811555137.8A
Other languages
English (en)
Inventor
林浩添
吕健
徐帆
曾思明
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Hospital of Guangxi Zhuang Autonomous Region
Zhongshan Ophthalmic Center
Original Assignee
Peoples Hospital of Guangxi Zhuang Autonomous Region
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Hospital of Guangxi Zhuang Autonomous Region, Zhongshan Ophthalmic Center filed Critical Peoples Hospital of Guangxi Zhuang Autonomous Region
Priority to CN201811555137.8A priority Critical patent/CN109636796A/zh
Publication of CN109636796A publication Critical patent/CN109636796A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人工智能眼部图片分析方法、服务器和系统,其中方法包括:获取用户有红眼现象的眼部图片;通过眼部定位深度学习模型定位出眼部图片上的眼睛;通过视轴异常深度学习模型筛查眼睛视轴区的异常。本发明利用智能终端和网络技术的普及,并依靠人工智能深度学习的高度敏感性和准确性,对用户眼部图片进行分析,使得眼睛视轴区异常的筛查更准确、更智能、更便捷,有利于提高对视轴区眼病筛查的效率。

Description

一种人工智能眼部图片分析方法、服务器和系统
技术领域
本发明涉及眼病筛查技术领域,更具体地,涉及一种人工智能眼部图片分析方法、服务器和系统。
背景技术
1973年WHO将(矫正)视力<0.3称为低视力,视力障碍严重影响人的生活,其中对视力影响的主要原因是视轴区的疾病(角膜白斑、翼状胬肉、白内障、玻璃体积血、视网膜脱离、视网膜母细胞瘤)。由于我国医疗资源的分布不均匀,我国当前的眼病筛查主要依靠专科医生携带专门的仪器进行抽样的筛查,由于医生掌握的知识水平不同及存在主观性,因此诊断存在较大的差别,导致了一大部分患有眼病者未能及时被发现和及时被治疗。
“红眼反射”是人眼健康时一种正常的光学现象,可以通过“红眼”判断是否存在视轴区屈光间质或眼底异常。在1962年,Brucker根据“红光反射”原理使用眼底镜进行儿童眼病筛查,取得了较好的效果,但这种模式应用范围较窄。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷(不足),提供一种人工智能眼部图片分析方法、服务器和系统,可以使得眼部图片上眼睛视轴区的异常分析筛查更准确、更智能、更便捷。
本发明采取的技术方案是:
一种人工智能眼部图片分析方法,包括:
获取用户有红眼现象的眼部图片;
通过眼部定位深度学习模型定位出眼部图片上的眼睛;
通过视轴异常深度学习模型筛查眼睛视轴区的异常。
当获取到用户有红眼现象的眼部图片后,眼部定位深度学习模型可以对眼部图片进行预处理,定位出眼部图片上的眼睛,利用定位,有利于去除图片背景或杂物的干扰,排除其它颜色较深的、易误判为眼睛的背景和杂物,提高后续眼睛视轴区异常分析和筛查的准确率和效率。通过视轴异常深度学习模型分析眼部图片上眼睛的视轴区异常情况,根据分析出的视轴区的异常情况可以辅助筛查出用户是否患有视轴区眼病以及所患有的视轴区眼病种类,从而提高眼病的筛查效率。
进一步地,所述方法还包括:
如果筛查出视轴区有异常,则通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度。
通过瞳孔颜色深度学习模型可以分析眼睛的瞳孔颜色,根据分析出的瞳孔颜色深浅和/或异常颜色部位的大小可以评估视轴区所出现异常的严重程度。异常的严重程度可以提供参考辅助评估视轴区眼病的严重程度,并做出合理的诊疗建议;异常的严重程度还可以提供参考辅助做出患视轴区眼病的风险报告。
进一步地,所述方法还包括:
如果筛查出视轴区有异常,则对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片。
给用户反馈进行了异常标记的眼部图片,可以让用户清楚地知道自己视轴区异常的地方,对自己的病情有更深的了解,也可以辅助医生进行进一步的眼病专业诊断。
进一步地,所述方法还包括:
根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
通过自适应更新,能够让深度学习模型积累更多的经验,不断完善修正而得出更高的分析准确率。
进一步地,所述获取用户有红眼现象的眼部图片,具体包括:
将智能终端的摄像头正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
智能终端的闪光灯在摄像头拍摄时闪烁一次;
摄像头与闪光灯分别与用户眼睛连线所形成的夹角β小于闪光灯的光入射用户眼睛后的反射角α。
让用户眼睛处于阴暗环境一定时间可以使得用户眼睛的瞳孔放大,在摄像头拍摄时,闪光灯闪烁的光可以更多地射入视网膜后的微血管组织,再反射进入摄像头,由此可以拍摄到有红眼现象的眼部图片。控制夹角β小于反射角α有利于近似形成同轴光线,使得足够的光进入眼睛,也可以使得更多的光反射进入摄像头,由此更有利于红眼现象的形成。
一种人工智能眼部图片分析服务器,包括:
接收模块,用于接收用户有红眼现象的眼部图片;
处理模块,用于通过眼部定位深度学习模型定位出眼部图片上的眼睛;
分析模块,用于通过视轴异常深度学习模型筛查眼睛视轴区的异常;
发送模块,用于将筛查结果发送给用户。
当接收模块获取到用户的眼部图片后,处理模块可以通过眼部定位深度学习模型对眼部图片进行预处理,定位出眼部图片上的眼睛,利用定位,有利于去除图片背景或杂物的干扰,排除其它颜色较深的、易误判为眼睛的背景和杂物,提高后续分析模块中所进行的异常分析和筛查的准确率和效率。分析模块通过视轴异常深度学习模型分析眼部图片上眼睛的视轴区异常情况,根据视轴区的异常情况可以辅助筛查出用户是否患有视轴区眼病,发送模块可以将分析模块所做出的筛查结果告知用户。
进一步地,所述分析模块,还用于在筛查出有视轴区眼病时,通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度;
所述发送模块,还用于将评估结果发送给用户。
分析模块通过瞳孔颜色深度学习模型可以分析眼睛的瞳孔颜色,根据分析出的瞳孔颜色深浅和/或异常颜色部位的大小可以评估视轴区眼病的严重程度(例如:正常、轻、中、重)。根据严重程度可以辅助评估视轴区眼病的严重程度,还可以辅助做出患视轴区眼病的风险报告。
进一步地,所述分析模块,还用于在筛查出视轴区有异常时对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片;
所述发送模块,还用于将眼部异常标记图片发送给用户。
将异常标记的眼部图片反馈给用户,可以让用户清楚地知道自己视轴区异常的地方,对自己的病情有更深的了解,也可以辅助医生进行进一步的眼病专业诊断。
进一步地,所述服务器还包括:
更新模块,用于根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
通过更新模块进行自适应更新,能够让深度学习模型积累更多的经验,不断完善修正而得出更高的分析准确率。
一种人工智能眼部图片分析系统,包括智能终端和如上所述的人工智能眼部图片分析服务器,所述智能终端设有摄像头、闪光灯;
摄像头,用于正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
闪光灯,用于在摄像头拍摄时闪烁一次;
摄像头与闪光灯分别与用户眼睛连线所形成的夹角β小于闪光灯的光入射用户眼睛后的反射角α。
让用户眼睛处于阴暗环境一定时间可以使得用户眼睛的瞳孔放大,在摄像头拍摄时,闪光灯闪烁的光可以更多地射入视网膜后的微血管组织,再反射进入摄像头,由此可以拍摄到有红眼现象的眼部图片。控制夹角β小于反射角α有利于近似形成同轴光线,使得足够的光进入眼睛,也可以使得更多的光反射进入摄像头,由此更有利于红眼现象的形成。
与现有技术相比,本发明的有益效果为:
(1)本发明利用智能终端和网络技术的普及,并依靠人工智能深度学习的高度敏感性和准确性,对用户眼部图片进行分析,使得眼睛视轴区异常的筛查更准确、更智能、更便捷,有利于提高对视轴区眼病筛查的效率;
(2)本发明可以在筛查出视轴区异常时,根据眼部图片中的瞳孔颜色,评估异常的严重程度,所评估出的严重程度可以提供判断眼病严重程度的参考,辅助作出诊疗建议和/或风险报告;
(3)本发明可以在筛查出眼部图片上的眼睛视轴区有异常时,给用户反馈进行了异常标记的眼部图片,可以让用户清楚地知道自己视轴区异常的地方,对自己的病情有更深的了解,也可以辅助医生进行进一步的眼病专业诊断;
(4)本发明可以将每次获取到的用户眼部图片,加入到深度学习模型中的训练集中,使得训练出来的深度学习模型对眼部图片的分析更加准确。
附图说明
图1为人工智能眼部图片分析方法流程图。
图2为获取用户眼部图片示意图。
图3为用户的眼部图片示意图。
图4为人工智能眼部图片分析服务器组成图。
图5是人工智能眼部图片分析系统组成图。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示,本实施例提供一种人工智能眼部图片分析方法,包括:
S1.获取用户有红眼现象的眼部图片;
S2.通过眼部定位深度学习模型定位出眼部图片上的眼睛;
S3.通过视轴异常深度学习模型筛查眼睛视轴区的异常。
当获取到用户有红眼现象的眼部图片后,眼部定位深度学习模型可以对眼部图片进行预处理,定位出眼部图片上的眼睛,利用定位,有利于去除图片背景或杂物的干扰,排除其它颜色较深的、易误判为眼睛的背景和杂物,提高后续眼睛视轴区异常分析和筛查的准确率和效率。通过视轴异常深度学习模型分析眼部图片上眼睛的视轴区异常情况,根据分析出的视轴区的异常情况可以辅助筛查出用户是否患有视轴区眼病以及所患有的视轴区眼病种类,如角膜白斑、翼状胬肉、白内障、玻璃体积血、视网膜脱离、视网膜母细胞瘤等,从而提高眼病的筛查效率。
视轴区的异常可以包括瞳孔区有暗点、瞳孔呈暗红色、瞳孔呈全白色、瞳孔呈黄色、瞳孔呈青绿色等。在疾病的发展过程中,瞳孔的变化复杂、多变,瞳孔颜色就有着预示疾病的作用。瞳孔呈暗红色,常见于眼外伤或某些眼内出血疾患;瞳孔呈全白色,多见于白内障、虹膜睫状体炎、青光眼、高度近视;瞳孔呈黄色,多为视网膜母细胞瘤的表现;瞳孔呈青绿色,常见于青光眼。
在具体实施过程中,通过眼部定位深度学习模型定位出眼部图片上的眼睛后,可以截取只有眼睛的图片部分,再通过视轴异常深度学习模型对该图片部分进行视轴区异常情况的分析;也可以框出只有眼睛的图片部分,再通过视轴异常深度学习模型对框内的图片部分进行视轴区异常情况的分析。
在具体实施过程中,除了获取用户有红眼现象的眼部图片,还可以获取用户的个人信息,如年龄、患病史、用药史等,再根据分析结果和个人信息进行眼部图片中眼睛视轴区异常的筛查。
在本实施例中,所述方法还包括:
S4.如果筛查出视轴区有异常,则通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度。
通过瞳孔颜色深度学习模型可以分析眼睛的瞳孔颜色,根据分析出的瞳孔颜色深浅和/或异常颜色部位的大小可以评估视轴区所出现异常的严重程度(例如:正常、轻、中、重)。异常的严重程度可以提供参考辅助评估视轴区眼病的严重程度,并做出合理的诊疗建议,如观察随访或手术治疗等,指导用户合理转诊或随诊;异常的严重程度还可以提供参考辅助做出患视轴区眼病的风险报告,如告知用户患病的风险或者病情恶化的风险等。
在本实施例中,所述方法还包括:
S5.如果筛查出视轴区有异常,则对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片。
异常标记的眼部图片可以反馈给用户,让用户清楚地知道自己视轴区异常的地方,对自己的病情有更深的了解,也可以辅助医生进行进一步的眼病专业诊断。
眼部定位深度学习模型可以是Faster-RCNN模型,Faster-RCNN模型权衡了对眼睛定位的精准度要求和效率要求,可以足够精准并且较快速地定位出眼部图片上的眼睛。将样本眼部图片预先定位出眼睛的位置,完成预先定位的多个样本眼部图片形成眼部定位深度学习模型的训练样本集,根据该训练样本集进行深度学习得到眼部定位深度学习模型。其深度学习过程可以是:初始化眼部定位深度学习模型,通过初始化的眼部定位深度学习模型在训练样本集中的样本眼部图片上选取出模型认为会出现眼睛的位置,判断该位置是否与预先定位的位置是吻合的,根据吻合率修正眼部定位深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成眼部定位深度学习模型。
视轴异常深度学习模型可以是CNN模型。对样本眼部图片根据视轴区是否有异常以及异常的种类进行预先分类,完成预先分类的多个样本眼部图片形成视轴异常深度学习模型的训练样本集。根据该训练样本集进行深度学习得到视轴异常深度学习模型。其深度学习过程可以是:初始化视轴异常深度学习模型,通过初始化的视轴异常深度学习模型将训练样本集中的样本眼部图片根据是否有异常以及异常的种类进行分类,判断该分类是否与预先的分类吻合,根据吻合率修正眼部定位深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成视轴异常深度学习模型。
瞳孔颜色深度学习模型可以是CNN模型。对样本眼部图片根据瞳孔颜色的深浅和/或异常颜色部位的大小进行预先分类,例如分类为四个严重等级:正常、轻、中、重,完成预先分类的多个样本眼部图片形成瞳孔颜色深度学习模型的训练样本集,根据该训练样本集进行深度学习得到瞳孔颜色深度学习模型。其深度学习过程可以是:初始化瞳孔颜色深度学习模型,通过初始化的瞳孔颜色深度学习模型将训练样本集中的样本眼部图片根据瞳孔颜色的深浅和/或异常颜色部位的大小进行分类,判断该分类是否与预先的分类吻合,根据吻合率修正瞳孔颜色深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成瞳孔颜色深度学习模型。
眼部定位深度学习模型、视轴异常深度学习模型、瞳孔颜色深度学习模型的训练样本集中的眼部图片可以是相同的,也可以针对模型的功能不同而有所不同的。
优选地,将眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习的训练样本集中的样本眼部图片进行裁剪、旋转、缩放、调整亮度、调整对比度、透视角度修改等,将修改后的样本眼部图片与原始的样本眼部图片一起放进训练样本集中。不仅可以提高原始样本眼部图片的利用率,还可以提升训练样本集中样本数据的质量与数量。
在本实施例中,所述方法还包括:
根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
通过自适应更新,能够让深度学习模型积累更多的经验,不断完善修正而得出更高的分析准确率。
在本实施例中,如图2所示,步骤S1具体包括:
将智能终端的摄像头61正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
智能终端的闪光灯62在摄像头61拍摄时闪烁一次;
摄像头61与闪光灯62分别与用户眼睛连线所形成的夹角β小于闪光灯62的光入射用户眼睛后的反射角α。
让用户眼睛处于阴暗环境一定时间可以使得用户眼睛的瞳孔放大,在摄像头61拍摄时,闪光灯62闪烁的光可以更多地射入视网膜后的微血管组织,再反射进入摄像头61,由此可以拍摄到有红眼现象的眼部图片。控制夹角β小于反射角α有利于近似形成同轴光线,使得足够的光进入眼睛,也可以使得更多的光反射进入摄像头61,由此更有利于红眼现象的形成。
在具体实施过程中,所述一定时间为至少5min。若第一次拍摄得到的眼部图片不太理想,间隔至少10min再进行第二次拍摄。摄像头61与用户眼睛之间的距离可以是25cm-35cm。
所述智能终端包括但不限于智能手机、平板电脑、手提、台式电脑等。
所获取的用户的眼部图片如图3所示,其中右眼形成了红眼现象。
实施例2
如图4所示,本实施例提供一种人工智能眼部图片分析服务器,包括:
接收模块10,用于接收用户有红眼现象的眼部图片;
处理模块20,用于通过眼部定位深度学习模型定位出眼部图片上的眼睛;
分析模块30,用于通过视轴异常深度学习模型筛查眼睛视轴区的异常;
发送模块40,用于将筛查结果发送给用户。
当接收模块10获取到用户的眼部图片后,处理模块20可以通过眼部定位深度学习模型对眼部图片进行预处理,定位出眼部图片上的眼睛,利用定位,有利于去除图片背景或杂物的干扰,排除其它颜色较深的、易误判为眼睛的背景和杂物,提高后续分析模块30中所进行的异常分析和筛查的准确率和效率。分析模块30通过视轴异常深度学习模型分析眼部图片上眼睛的视轴区异常情况,根据分析出的视轴区的异常情况可以辅助筛查出用户是否患有视轴区眼病以及所患有的视轴区眼病种类,如角膜白斑、翼状胬肉、白内障、玻璃体积血、视网膜脱离、视网膜母细胞瘤等。发送模块40可以将分析模块30所筛查出的视轴区的异常告知用户。
视轴区的异常可以包括瞳孔区有暗点、瞳孔呈暗红色、瞳孔呈全白色、瞳孔呈黄色、瞳孔呈青绿色等。在疾病的发展过程中,瞳孔的变化复杂、多变,瞳孔颜色就有着预示疾病的作用。瞳孔呈暗红色,常见于眼外伤或某些眼内出血疾患;瞳孔呈全白色,多见于白内障、虹膜睫状体炎、青光眼、高度近视;瞳孔呈黄色,多为视网膜母细胞瘤的表现;瞳孔呈青绿色,常见于青光眼。
在具体实施过程中,处理模块20通过眼部定位深度学习模型定位出眼部图片上的眼睛后,可以截取只有眼睛的图片部分,分析模块30再通过视轴异常深度学习模型对该图片部分进行视轴区异常情况的分析;处理模块20也可以框出只有眼睛的图片部分,分析模块30再通过视轴异常深度学习模型对框内的图片部分进行视轴区异常情况的分析。
在具体实施过程中,接收模块10除了获取用户有红眼现象的眼部图片,还可以获取用户的个人信息,如年龄、患病史、用药史等,分析模块30再根据分析结果和个人信息进行视轴区异常的筛查。
在本实施例中,所述分析模块30,还用于在筛查出视轴区有异常时,通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度;
所述发送模块40,还用于将严重程度发送给用户。
分析模块30通过瞳孔颜色深度学习模型可以分析眼睛的瞳孔颜色,根据分析出的瞳孔颜色深浅和/或异常颜色部位的大小可以评估视轴区眼病的严重程度(例如:正常、轻、中、重)。异常的严重程度可以提供参考辅助评估视轴区眼病的严重程度,并做出合理的诊疗建议,如观察随访或手术治疗等,指导用户合理转诊或随诊;异常的严重程度还可以提供参考辅助做出患视轴区眼病的风险报告,如告知用户患病的风险或者病情恶化的风险等。
在本实施例中,所述分析模块30,还用于在分析出视轴区有异常时,对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片;
所述发送模块40,还用于将眼部异常标记图片发送给用户。
将异常标记的眼部图片反馈给用户,可以让用户清楚地知道自己视轴区异常的地方,对自己的病情有更深的了解,也可以辅助医生进行进一步的眼病专业诊断。
眼部定位深度学习模型可以是Faster-RCNN模型,Faster-RCNN模型权衡了对眼睛定位的精准度要求和效率要求,可以足够精准并且较快速地定位出眼部图片上的眼睛。本实施例中,所述服务器还包括第一训练模块。第一训练模块将样本眼部图片预先定位出眼睛的位置,完成预先定位的多个样本眼部图片形成眼部定位深度学习模型的训练样本集,根据该训练样本集进行深度学习得到眼部定位深度学习模型。其深度学习过程可以是:初始化眼部定位深度学习模型,通过初始化的眼部定位深度学习模型在训练样本集中的样本眼部图片上选取出模型认为会出现眼睛的位置,判断该位置是否与预先定位的位置是吻合,根据吻合率修正眼部定位深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成眼部定位深度学习模型。
视轴异常深度学习模型可以是CNN模型。本实施例中,所述服务器还可以包括第二训练模块。第二训练模块对样本眼部图片根据视轴区是否有异常以及异常的种类进行预先分类,完成预先分类的多个样本眼部图片形成视轴异常深度学习模型的训练样本集。根据该训练样本集进行深度学习得到视轴异常深度学习模型。其深度学习过程可以是:初始化视轴异常深度学习模型,通过初始化的视轴异常深度学习模型将训练样本集中的样本眼部图片根据是否有异常以及异常的种类进行分类,判断该分类是否与预先的分类吻合,根据吻合率修正眼部定位深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成视轴异常深度学习模型。
瞳孔颜色深度学习模型可以是CNN模型。在本实施例中,所述服务器还包括第三训练模块。第三训练模块对样本眼部图片根据瞳孔颜色的深浅和/或异常颜色部位的大小进行预先分类,例如分类为四个严重等级:正常、轻、中、重,完成预先分类的多个样本眼部图片形成瞳孔颜色深度学习模型的训练样本集,根据该训练样本集进行深度学习得到瞳孔颜色深度学习模型。其深度学习过程可以是:初始化瞳孔颜色深度学习模型,通过初始化的瞳孔颜色深度学习模型将训练样本集中的样本眼部图片根据瞳孔颜色的深浅和/或异常颜色部位的大小进行分类,判断该分类是否与预先的分类吻合,根据吻合率修正瞳孔颜色深度学习模型,重复多次直到吻合率接近100%并趋于稳定,由此经过多次修正最终形成瞳孔颜色深度学习模型。
眼部定位深度学习模型、视轴异常深度学习模型、瞳孔颜色深度学习模型的训练样本集中的眼部图片可以是相同的,也可以针对模型的功能不同而有所不同的。
优选地,将眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习的训练样本集中的样本眼部图片进行裁剪、旋转、缩放、调整亮度、调整对比度、透视角度修改等修改,将修改后的样本眼部图片与原始的样本眼部图片一起放进训练样本集中。不仅可以提高原始样本眼部图片的利用率,还可以提升训练样本集中样本数据的质量与数量。
在本实施例中,所述服务器还包括:
更新模块50,用于根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
通过更新模块50进行自适应更新,能够让深度学习模型积累更多的经验,不断完善修正而得出更高的分析准确率。
实施例3
如图2、图5所示,本实施例提供一种人工智能眼部图片分析系统,包括智能终端60和如实施例2所述的人工智能眼部图片分析服务器,所述智能终端60设有摄像头61、闪光灯62;
摄像头61,用于正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
闪光灯62,用于在摄像头61拍摄时闪烁一次;
摄像头61与闪光灯62分别与用户眼睛连线所形成的夹角β小于闪光灯62的光入射用户眼睛后的反射角α。
让用户眼睛处于阴暗环境一定时间可以使得用户眼睛的瞳孔放大,在摄像头61拍摄时,闪光灯62闪烁的光可以更多地射入视网膜后的微血管组织,再反射进入摄像头61,由此可以拍摄到有红眼现象的眼部图片。控制夹角β小于反射角α有利于近似形成同轴光线,使得足够的光进入眼睛,也可以使得更多的光反射进入摄像头61,由此更有利于红眼现象的形成。
在具体实施过程中,所述一定时间为至少5min。若第一次拍摄得到的眼部图片不太理想,间隔至少10min再进行第二次拍摄。摄像头61与用户眼睛之间的距离可以是25cm-35cm。
所述智能终端60包括但不限于智能手机、平板电脑、手提、台式电脑等。
所获取的用户的眼部图片如图3所示,其中右眼形成了红眼现象。
接收模块10可以从智能终端60在联机或脱机的状态下获取用户有红眼现象的眼部图片。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种人工智能眼部图片分析方法,其特征在于,包括:
获取用户有红眼现象的眼部图片;
通过眼部定位深度学习模型定位出眼部图片上的眼睛;
通过视轴异常深度学习模型筛查眼睛视轴区的异常。
2.根据权利要求1所述的人工智能眼部图片分析方法,其特征在于,还包括:
如果筛查出视轴区有异常,则通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度。
3.根据权利要求1所述的人工智能眼部图片分析方法,其特征在于,还包括:
如果筛查出视轴区有异常,则对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片。
4.根据权利要求1所述的人工智能眼部图片分析方法,其特征在于,还包括:
根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
5.根据权利要求1至4任一项所述的人工智能眼部图片分析方法,其特征在于,所述获取用户有红眼现象的眼部图片,具体包括:
将智能终端的摄像头正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
智能终端的闪光灯在摄像头拍摄时闪烁一次;
摄像头与闪光灯分别与用户眼睛连线所形成的夹角β小于闪光灯的光入射用户眼睛后的反射角α。
6.一种人工智能眼部图片分析服务器,其特征在于,包括:
接收模块,用于接收用户有红眼现象的眼部图片;
处理模块,用于通过眼部定位深度学习模型定位出眼部图片上的眼睛;
分析模块,用于通过视轴异常深度学习模型筛查眼睛视轴区的异常;
发送模块,用于将筛查结果发送给用户。
7.根据权利要求6所述的人工智能眼部图片分析服务器,其特征在于:
所述分析模块,还用于在筛查出视轴区有异常时,通过瞳孔颜色深度学习模型分析瞳孔的颜色,根据分析结果评估异常的严重程度;
所述发送模块,还用于将评估结果发送给用户。
8.根据权利要求6所述的人工智能眼部图片分析服务器,其特征在于:
所述分析模块,还用于在筛查出视轴区有异常时对眼部图片上的视轴区异常进行标记,形成眼部异常标记图片;
所述发送模块,还用于将眼部异常标记图片发送给用户。
9.根据权利要求6所述的人工智能眼部图片分析服务器,其特征在于,还包括:
更新模块,用于根据每次获取的用户的眼部图片,更新眼部定位深度学习模型和/或视轴异常深度学习模型和/或瞳孔颜色深度学习模型的训练样本集。
10.一种人工智能眼部图片分析系统,其特征在于,包括智能终端和如权利要求6至9任一项所述的人工智能眼部图片分析服务器,所述智能终端设有摄像头、闪光灯;
摄像头,用于正对已处于阴暗环境中一定时间的用户眼睛,对焦到用户眼睛后拍摄得到用户的眼部图片;
闪光灯,用于在摄像头拍摄时闪烁一次;
摄像头与闪光灯分别与用户眼睛连线所形成的夹角β小于闪光灯的光入射用户眼睛后的反射角α。
CN201811555137.8A 2018-12-19 2018-12-19 一种人工智能眼部图片分析方法、服务器和系统 Pending CN109636796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811555137.8A CN109636796A (zh) 2018-12-19 2018-12-19 一种人工智能眼部图片分析方法、服务器和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811555137.8A CN109636796A (zh) 2018-12-19 2018-12-19 一种人工智能眼部图片分析方法、服务器和系统

Publications (1)

Publication Number Publication Date
CN109636796A true CN109636796A (zh) 2019-04-16

Family

ID=66075263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811555137.8A Pending CN109636796A (zh) 2018-12-19 2018-12-19 一种人工智能眼部图片分析方法、服务器和系统

Country Status (1)

Country Link
CN (1) CN109636796A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110279391A (zh) * 2019-05-30 2019-09-27 廖亮举 便携红外相机视力检测算法
CN110458806A (zh) * 2019-07-05 2019-11-15 中山大学中山眼科中心 一种眼部图片和属性信息的分析方法和系统
CN111700582A (zh) * 2020-06-23 2020-09-25 温州医科大学附属眼视光医院 一种基于智能终端的常见眼表疾病诊断系统
CN114565611A (zh) * 2022-04-28 2022-05-31 武汉大学 医学信息获取方法及相关设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155726A1 (en) * 2009-08-24 2012-06-21 Huiqi Li method and system of determining a grade of nuclear cataract
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
CN103717122A (zh) * 2011-08-01 2014-04-09 佳能株式会社 眼科诊断支持设备和眼科诊断支持方法
CN103970251A (zh) * 2013-01-28 2014-08-06 鸿富锦精密工业(深圳)有限公司 电子装置及其节能方法
CN104637031A (zh) * 2013-11-12 2015-05-20 华为终端有限公司 眼部图像处理方法和装置
CN105787953A (zh) * 2016-03-28 2016-07-20 中山大学中山眼科中心 用于视轴区浑浊识别的智能终端
CN107330449A (zh) * 2017-06-13 2017-11-07 瑞达昇科技(大连)有限公司 一种糖尿病性视网膜病变体征检测方法及装置
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
WO2018045363A1 (en) * 2016-09-02 2018-03-08 Gargeya Rishab Screening method for automated detection of vision-degenerative diseases from color fundus images
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108710901A (zh) * 2018-05-08 2018-10-26 广州市新苗科技有限公司 一种基于深度学习的脊柱畸形筛查系统及方法
CN108852280A (zh) * 2018-07-16 2018-11-23 南京泰立瑞信息科技有限公司 一种视力筛查的图像采集与分析方法、系统及设备
CN109036550A (zh) * 2018-07-04 2018-12-18 中山大学中山眼科中心 一种基于人工智能的白内障分析方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155726A1 (en) * 2009-08-24 2012-06-21 Huiqi Li method and system of determining a grade of nuclear cataract
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
CN103717122A (zh) * 2011-08-01 2014-04-09 佳能株式会社 眼科诊断支持设备和眼科诊断支持方法
CN103970251A (zh) * 2013-01-28 2014-08-06 鸿富锦精密工业(深圳)有限公司 电子装置及其节能方法
CN104637031A (zh) * 2013-11-12 2015-05-20 华为终端有限公司 眼部图像处理方法和装置
CN105787953A (zh) * 2016-03-28 2016-07-20 中山大学中山眼科中心 用于视轴区浑浊识别的智能终端
WO2018045363A1 (en) * 2016-09-02 2018-03-08 Gargeya Rishab Screening method for automated detection of vision-degenerative diseases from color fundus images
CN107330449A (zh) * 2017-06-13 2017-11-07 瑞达昇科技(大连)有限公司 一种糖尿病性视网膜病变体征检测方法及装置
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108710901A (zh) * 2018-05-08 2018-10-26 广州市新苗科技有限公司 一种基于深度学习的脊柱畸形筛查系统及方法
CN109036550A (zh) * 2018-07-04 2018-12-18 中山大学中山眼科中心 一种基于人工智能的白内障分析方法及装置
CN108852280A (zh) * 2018-07-16 2018-11-23 南京泰立瑞信息科技有限公司 一种视力筛查的图像采集与分析方法、系统及设备

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
PEIYUAN XU 等: "Optic Disc Detection via Deep Learning in Fundus Images", 《FIFI/OMIA 2017》 *
RICHARD W.HERTLE等著: "《儿童眼病彩色图谱》", 30 June 2003, 广州:广东科技出版社 *
XIYANG LIU 等: "Localization and diagnosis framework for pediatric cataracts based on slit-lamp images using deep features of a convolutional neural network", 《PLOS ONE》 *
付宝生 等主编: "《神经内科学诊治重点与疑难病例荟萃》", 28 February 2017, 北京:科学技术文献出版社 *
任书蝶: "基于级联卷积神经网络的眼睛检测", 《科技经济导刊》 *
吴聪 等: "基于卷积神经网络的眼球血丝诊断", 《软件导刊》 *
杨卫华 等主编: "《眼科人工智能》", 28 February 2018, 武汉:湖北科学技术出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110279391A (zh) * 2019-05-30 2019-09-27 廖亮举 便携红外相机视力检测算法
CN110279391B (zh) * 2019-05-30 2021-11-30 汕头市荣亮科技有限公司 便携红外相机视力检测算法
CN110458806A (zh) * 2019-07-05 2019-11-15 中山大学中山眼科中心 一种眼部图片和属性信息的分析方法和系统
CN111700582A (zh) * 2020-06-23 2020-09-25 温州医科大学附属眼视光医院 一种基于智能终端的常见眼表疾病诊断系统
CN114565611A (zh) * 2022-04-28 2022-05-31 武汉大学 医学信息获取方法及相关设备
CN114565611B (zh) * 2022-04-28 2022-07-19 武汉大学 医学信息获取方法及相关设备

Similar Documents

Publication Publication Date Title
CN109636796A (zh) 一种人工智能眼部图片分析方法、服务器和系统
Tucker et al. The depth-of-focus of the human eye for Snellen letters
CN105411525B (zh) 一种眼底照片图像智能获取识别系统
McLaughlin et al. Changes in straight-ahead eye position during adaptation to wedge prisms
CN109528155B (zh) 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法
US8087783B2 (en) Ocular centration of visual axis and evaluation of retinal function
Pieczynski et al. Diabetic Retinopathy Screening Methods and Programmes Adopted in Different Parts of the World–Further Insights
CN109998477B (zh) 一种高度近视白内障手术预后智能预判系统
CN109691979A (zh) 一种基于深度学习的糖尿病视网膜图像病变分类方法
US11062444B2 (en) Artificial intelligence cataract analysis system
Tsikata et al. Automated brightness and contrast adjustment of color fundus photographs for the grading of age-related macular degeneration
CN109464120A (zh) 一种糖尿病视网膜病变筛查方法、装置及存储介质
Ram et al. The relationship between Fully Connected Layers and number of classes for the analysis of retinal images
Ma et al. A one-step, streamlined children’s vision screening solution based on smartphone imaging for resource-limited areas: Design and preliminary field evaluation
Johari et al. Early detection of diabetic retinopathy by using deep learning neural network
Bedell et al. A study of the Stiles-Crawford (SC) function at 35 in the temporal field and the stability of the foveal SC function peak over time
Kanski et al. Clinical ophthalmology
CN108630315A (zh) 用于确定使用者的眼病的风险分数的方法以及用于执行此类方法的系统
Errabih et al. Identifying Retinal Diseases on OCT Image Based on Deep Learning.
WO2023136460A1 (ko) 원형분석과 fcm 분석기법을 이용한 녹내장 분석 시스템 및 방법
US10561312B2 (en) Method and apparatus for administering a low luminance visual dysfunction test
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置
Domalpally et al. Evaluation of optimized digital fundus reflex photographs for lens opacities in the age-related eye disease study 2: AREDS2 report 7
Kousha et al. The Arclight and how to use it
US20230190097A1 (en) Cataract detection and assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416