CN107209933A - 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 - Google Patents

用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 Download PDF

Info

Publication number
CN107209933A
CN107209933A CN201580058074.3A CN201580058074A CN107209933A CN 107209933 A CN107209933 A CN 107209933A CN 201580058074 A CN201580058074 A CN 201580058074A CN 107209933 A CN107209933 A CN 107209933A
Authority
CN
China
Prior art keywords
image
quality
eye
roi
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580058074.3A
Other languages
English (en)
Inventor
尹枫舒
黄永基
刘江
李鹏海
张卓
卡维萨·戈帕拉克里希南
关颖
刘爱萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of CN107209933A publication Critical patent/CN107209933A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

评估视网膜图像(诸如眼底图像)的质量的方法包括选择在视网膜图像内对应于眼部的特定结构(例如，视盘或黄斑)的至少一个感兴趣区域，并且关于所述感兴趣区域或者每个感兴趣区域计算质量评分。如同视盘和黄斑，每个感兴趣区域通常与病变相关联。可选地，也可以关于整个眼部(即，如果整个图像对应于视网膜，则在整个图像上)计算质量评分。

Description

用于评估视网膜图像以及从视网膜图像获得信息的方法和 系统
技术领域
本发明涉及用于评估图像并且在图像被确定为具有足够好的质量的情况下用于从图像获得信息来提供治疗建议的计算机实现方法和装置，所述图像被认为是眼部的视网膜的图像。
背景技术
失明的主要原因包括白内障、青光眼、年龄相关性黄斑变性、糖尿病性视网膜病变以及病理性近视。其中，在白内障中的视力丧失通常可以通过利用人造手术中镜片代替不透明的晶状体来恢复。然而，在诸如青光眼和AMD的许多其他疾病中，视力丧失往往是永久性的和不可恢复的。因此，公众和临床上对于在尽可能早的阶段检测这些疾病以便挽救视力并降低治疗费用有相当关心。许多眼部疾病的无症状性质经常使早期检测进一步复杂化，通常只能通过在发展期的患者中观察到可见症状。
视网膜是在眼部内表面形成的一层组织。它是眼部的光敏部分，晶状体将光线聚焦在视网膜上，然后光线作为信号传输到大脑用来解释。视网膜层的损伤和变性是永久性视力丧失的关键原因。特别地，在视网膜内存在被称为视盘和黄斑(macula)的两个关键区域，它们在人类视觉系统中具有最重要的作用。图1作为眼部后部的眼底图像，标有这些区域。
1、视盘
视盘也被称为视神经头，并且是视网膜中神经节神经纤维细胞聚集形成将眼部连接到大脑的视神经的位置。信号正是通过视神经从感光细胞(photoreceptor)传输到大脑。与视盘相关的主要疾病称为青光眼。
青光眼在世界范围内是永久性失明的主要原因。在青光眼中，神经节神经纤维的变性导致视力丧失。图2(a)示意性地示出了与该疾病的晚期相关的视力丧失。青光眼的早期通常不被受检对象注意到。然而，使用诸如视网膜成像之类的模式直接观察视盘可能对青光眼检测有指导作用。视网膜神经纤维的变性表现为陷凹(excavation)在视盘中的扩大，其被称为视杯。视杯相对于视盘的增大的直径与青光眼有联系。这在图3中图示出，其中图3(a)示出了正常眼部的视盘，并且图3(b)示出了具有升高的杯盘比(CDR)的视盘。
除青光眼之外，还可以通过观察视盘来检测病理性近视。在病理性近视中，与眼球的轴向伸长相关的变性变化导致视盘周围出现视乳头周围萎缩(PPA)。这在图3(c)中被图示出。
2、黄斑
黄斑是视网膜的中心部分，负责具体的中央视觉和诸如阅读、驾驶或认人之类的相关的任务。它是一个高度着色的区域，位于视网膜中央并与视盘相连。黄斑包含眼部中的最高浓度的感光细胞。与黄斑最相关的疾病称为年龄相关性黄斑变性(AMD)。这产生了图2(b)中示意性地示出的视力丧失。
在AMD中，视网膜的黄斑区域的变性导致视野中心的直接视力丧失。AMD主要影响老龄化人群，其患病率随着年龄的增长而提高。该疾病通常大致分为早期和晚期，在晚期会出现明显的中央盲点。AMD的早期通常与黄斑区域中的玻璃膜疣和视网膜色素上皮变化的出现有联系。可以从视网膜的图像中观察到这样的损伤。这由图4示出，图4示出了(a)正常黄斑、(b)具有玻璃膜疣的黄斑以及(c)具有黄斑孔的黄斑的图像。
包括黄斑部位特异性损伤在内的其他眼部疾病包括源于出现黄斑水肿的糖尿病性视网膜病变以及源于存在黄斑裂孔和漆裂纹的病理性变性。
近年来，大量人群中对早期且有效地检测致盲眼部疾病的急切需求激发了计算机辅助工具的发展。特别地，自动计算机辅助诊断和分析技术，由于政策制定者、学者、临床医师和产业的关注，从对个体损伤和线索的检测到图像级的对疾病的检测已经得到快速发展。潜在地，对这些技术的成功实施将导致更好、更有效和更有效率地筛查这种具有巨大社会和经济影响的致盲疾病。
许多这些方法是基于干净的、滤波后的图像的数据集而开发的。由于评估算法和技术对有关疾病和损伤检测的性能的必要性，通常选择干净的、清晰可辨的和清楚的图像用于技术开发、训练和测试。这在图像具有高质量的许多用于研究和开发的例如DRIVE数据库的公共数据库中经常看到。
然而，在实践中，这种干净的高质量图像通常难以获得。这可能是由于在图像捕获期间源于采集光学器件的未对准、意外的受检对象移动或散焦而产生的成像伪影。其他原因可能包括在受检对象存在白内障，其充当了光学光路中导致图像模糊的不透明体。图5(a)和5(b)是质量差的眼底图像的示例。当自动分析系统遇到这样的图像时，生成的结果可能不可靠。这是因为这些系统是假设图像质量好、并且与规范的任何偏差都是由于现有的病变而不是成像伪影而开发的。因而，这种质量差的图像的诊断结果可能不准确。
由于在采集过程中获得的质量差的图像部分由于成像光学元件或疾病病变而不是压缩的结果，所以很难将这些图像恢复到没有人工插值的提高质量后状态。因而，仍然需要在预处理级检测这些质量差的图像以便在任何计算机辅助检测方法中使用之前将其滤掉。
图像质量评估是许多领域的兴趣所在。这种方法可以分为全参考和无参考方法。全参考方法是待评估的图像与相同图像受检对象的被认为具有理想质量的参考图像进行比较的方法。这种方法主要用于比较图像压缩算法的效果，而与当前任务几乎没有太多关联。而我们专注于无参考方法。
P1：基于分布式的方法
该方法使用边缘全局分布的直方图和局部图像直方图。直方图被建模为瑞利(Rayleigh)分布。然后使用相似性测量来相对于参考统计确定图像质量。这在光学眼底图像的自动视觉质量评估(Automatic visual quality assessment in optical fundusimages)(Lalonde,M.、Gagnon,L.和Boucher,M.C.(2001)，视觉界面的会议记录(Proceedings of Vision Interface)，第259-264页)中有所描述。
P2：基于分段的方法
在该方法中，首先使用霍夫变换进行对视盘、脉管和黄斑的初步分割。然后，利用精细脉管的可视性确定图像质量。这与来自视盘和黄斑的空间位置的场信息相结合以产生图像的最终评分。这在，基于清晰度和视野清晰度自动评估糖尿病性视网膜图像质量(Automated assessment of diabetic retinal image quality based on clarity andfield definition)(Fleming，A.D.、Philip，S.、Goatman，K.A.、Olson，J.A.和Sharp，P.F.(2006)，调查性眼科和视觉科学(Investigative Ophthalmology and Visual Science)47(3)：1120-1125)中有所描述。
P3：基于词袋(Bag of Words，BoW)的方法
该方法使用采用归一化直方图的基于颜色的两组特征、以及采用多尺度高斯滤波器得到的二阶图像结构不变量。视觉词的直方图被用来以词袋法的方式对图像质量分类。这在用于在糖尿病性视网膜病变筛查中对彩色视网膜图像的图像质量验证的图像结构聚类(Image structure clustering for image quality verification of color retinaimages in diabetic retinopathy screening)(Niemeijer，M.、Abramoff，M.D.和vanGinneken，B.(2006)，医学图像分析(Medical Image Analysis)10(6)：第888-898页)中有描述。
P4：基于脉管及颜色的方法
在该方法中，颜色直方图与HSV颜色空间中的脉管分割一起用作特征。然后将这些特征在类似于P3的词袋技术中被结合。在另一种方法中，首先基于图像中的各向异性斑块计算噪声和模糊的全局评分。然后，通过将脉管信息的方差结合到局部斑块中来获得加权质量评分。这在：椭圆局部脉管密度：视网膜图像的快速和鲁棒的质量度量(Ellipticallocal vessel density:a fast and robust quality metric for retinal images)(Giancardo，L.、Abramoff，M.D.、Chaum，E.、Karnowski，T.P.、Meriaudeau，F.和Tobin，K.W.(2008)，IEEE EMBS的会议记录)中有描述。另外可参见Kohler，T.、Budai，A.、Kraus，MF、Odstrcilik，J.、Michelson，G.和Hornegger，J.发表的“使用脉管分割对视网膜眼底图像的自动无参考质量评估(Automatic no-reference quality assessment for retinalfundus images using vessel segmentation)”(基于计算机医疗系统(CBMS)，2013年第26届IEEE国际学术报告会，第95卷，第100期，第22-22页，2013年6月)。
发明内容
本发明旨在提供用于评价视网膜图像的新的且有用的方法和系统。可选地，被确定为高质量的任何图像被用来获得关于眼部的信息，该信息例如可以与其他信息结合以用来对眼部的治疗提供建议。
一般来说，本发明提出，作为评估视网膜图像(诸如眼底图像)的质量的一部分，在视网膜图像内对应于眼部的特定结构(诸如视盘或黄斑)选择至少一个感兴趣区域，并且关于所述感兴趣区域或者每个感兴趣区域计算质量评分。如同视盘和黄斑，每个感兴趣区域通常是与病变相关联的感兴趣区域。
可选地，也可以关于整个眼部(即，如果整个图像对应于视网膜，则在整个图像上)计算质量评分。
这个概念与已知的评估整个图像的质量的图像评估方法形成对比。由于成像伪影可能是局部的，因此本发明的某些实施例有助于通过评估检测到的焦点感兴趣区域的质量来确保对输入图像的使用最大化，而不是基于全局特征而拒绝整个图像。
如果初始感兴趣区域不合适，则可以提取并重新评估另一个ROI。这可以重复直至找到合适的ROI为止，或者重复到穷尽所有可能的ROI时。因而，即使另一个ROI(例如，黄斑或视盘)的质量较低，和/或即使整个图像的质量较低，仍然可以关于第一ROI(例如，视盘或黄斑)获得有用的结果。这在获取替代图像将会很昂贵的情况下显然是有益的。
此外，如果将本实施例用于与特定感兴趣区域相关联的医疗状况的计算机辅助诊断(CAD)，则即使图像的其他区域质量较差，仍然可以使用本发明的实施例来获得针对该感兴趣区域的可靠的质量评分。如果该质量评分表明感兴趣的区域具有足够好的质量，则图像的相应部分可以用作CAD过程的一部分，得出可靠的结果。
优选地，本发明还包括自动地检查输入图像是正确图像类型(例如眼底图像)的过程。
本发明的实施例可以容易地用于当前技术中，而不需要进行大量的修改。例如，可以在两种情况下使用实施例。
1)可以通过评估视网膜兴趣区域的质量，本实施例用作针对当前自动化疾病检测系统的预滤波器。此外，通过将本实施例相继地应用到后续的区域，图像可以被完全探测到以找到可用区域，而不是基于全局质量而拒绝图像。本实施例可以确保输入区域具有可用的质量，并且基于视网膜兴趣度质量提供关于结果的可靠性的反馈。
2)本发明的实施例还可以在采集期间使用，以帮助摄影者捕获良好的视网膜感兴趣区域或整体图像。例如，通过将本实施例应用于摄影者已捕获的图像，可以判定是否需要捕获另一视网膜图像。
本发明的实施例可以通过考虑到有用的视网膜感兴趣区域或整个图像来提高现有视网膜图像处理系统的可靠性，提供一种控制输入质量的方法以及提供一种潜在的采集工具。
本发明可以表达为评估图像的质量的计算机实现方法，或者表达为用于使用输入图像执行CAD的计算机实现方法，该方法包括检查输入图像的至少一部分的质量具有足够好的质量的预处理步骤。本发明还可以被表达为经编程为执行这种方法的计算机，或表达为计算机程序产品(例如，存储在非易失性存储设备中的有形记录介质上)，包括由计算机运行以执行这种方法的程序指令在内。
可选地，随着可以进行CAD进一步测试，例如在使用本技术已经对医疗状况进行诊断的情况下，可以使用更复杂(昂贵)的方法来验证诊断。最后，可以依据诊断来建议甚至进行医学治疗。
附图说明
现在将参考以下附图仅以举例的目的来描述本发明的非限制性实施例，其中：
图1是标记出视盘和黄斑的眼部的典型的眼底图像；
图2由图2(a)和2(b)组成，示意性地示出了与(a)青光眼和(b)年龄相关性黄斑变性有关的视力丧失；
图3由图3(a)至3(c)组成，示出了在(a)正常眼部、(b)具有高杯盘比的视盘、以及(c)具有PPA的视盘的情况下的眼底图像的代表视盘的部分；
图4由图4(a)至(c)组成，示出了在(a)正常黄斑、(b)具有玻璃膜疣的黄斑、以及(c)具有黄斑孔的黄斑的情况下的眼底图像的代表黄斑的部分；
图5由作为典型的质量差的图像的图5(a)和5(b)组成；
图6是本发明实施例的方法的流程图；
图7示出了图6的方法中的视网膜图像识别步骤的子步骤；
图8是图7的示意性的形式；
图9示出了图6的方法中的确认步骤的子步骤；
图10由作为参考视网膜图像的图10(a)、作为非眼底图像的图10(b)、以及作为具有一些伪影的眼底图像的图10(c)组成；
图11示出了图6的方法中的质量评估步骤的子步骤；
图12由图12(a)至(f)组成，示出了检测视盘的ROI的过程；
图13由图13(a)至(d)组成，示出了来自两个不同眼底图像的视盘ROI及其相应的脉管结构；
图14示出了用于执行该方法的计算机系统的技术体系结构；
图15示出了使用本发明的实施例和现有技术系统得到的全图像的ROC曲线；
如图16由图16(a)至(c)组成，示出了通过图6的方法给出不同质量评分的三种不同眼底图像的视盘区域；
图17示出了使用本发明的实施例和现有技术系统得到的视盘ROI的ROC曲线；以及
图18示出了使用本发明的实施例获得的黄斑ROI的ROC曲线。
具体实施方式
首先参照图6，示出了作为本方法的实施例的方法100的流程图。本实施例被称为ARIES(自动视网膜兴趣度估计器系统)。ARIES作为将处理后的图像递交用于后续分析之前的预处理步骤，自动地评估输入图像的质量。以这种方式，ARIES将控制输入的质量用于后续分析。
ARIES的一个关键特征是其分析至少一个焦点感兴趣区域。一个具体示例是视盘。由于成像伪影可以是局部的，因此ARIES将有助于通过评估检测到的焦点感兴趣区域的质量来确保对输入图像的使用最大化，而不是基于全局特征拒绝整个图像。如果初始的感兴趣区域不合适，则会提取并重新评估另一个ROI。重复此操作，直到找到合适的ROI，或者穷尽所有可能的ROI时。
ARIES以下面三个步骤来评估输入图像的质量：视网膜图像识别步骤1，其中对输入图像是否为视网膜图像进行初始评估；如果初始评估是否定的，则进行重新评价图像以进行确认2的步骤2；如果初始评估是肯定的，或者如果确认步骤2指示图像终究是视网膜图像(即，初始评估步骤1得出了错误的结论)，则在质量评估步骤3产生全图像质量评分并且将给出焦点区域(视盘或黄斑)质量评分。这些步骤可用于滤掉低质量图像或为进一步处理步骤提供低可信度警告。
1、视网膜图像识别步骤
在眼部疾病的计算机辅助诊断(CAD)中，视网膜和非视网膜图像识别步骤1在滤掉不相关图像方面是重要的。稳健的CAD系统应当能够识别出并隔离出未知类型的图像，并且仅处理具有正确图像类型的那些图像。
图7示出了步骤1的一种可能实现方式的利用弱监督式学习方法的子步骤。在这种方法中，我们可以在没有对对象的分割或对特征的手动选择的情况下来判决图像是否具有某些特征。在第一子步骤11中，使用视觉词袋表示来表示训练图像以产生多个提取的特征。在子步骤12中，支持向量机(SVM)分类器使用提取的特征来生成分类结果。
通过使用包括多个各图像的训练集训练来获得SVM，并且针对每个图像通过视觉词袋表示获得了提取的特征，并且相应的标记指示图像是否为视网膜图像。这一旦完成，经训练的SVM分类器就可以应用于新图像的测试。
在一种情况下，可以使用步骤2来具体地识别输入图像是否为眼底图像。在这种情况下，标记表示训练集中的每个图像是眼底图像还是非眼底图像。即使对于作为另一类型的视网膜图像(诸如，眼底成像系统(Retcam)图像、OCT图像和裂隙灯图像(slit-lampimage))的输入图像，也使用后一种分类。该过程在图8中示意性地示出。虽然输入图像14、15和16都是眼部图像(输入图像13不是)，但是仅输入图像14是眼底图像，并且被这样分类。
2、确认步骤
在上一步中，眼底图像中的伪影可能会影响图像分类的准确度。伪影，特别是曝光过度，往往导致眼底图像被错误分类成非眼底类型。因此，期望确认步骤2区分实际的非眼底图像与具有导致步骤1中的错误分类的伪影的眼底图像。识别出的具有伪影的眼底图像可以直接被分类为劣质眼底图像或被提供到用于评估焦点区域的ARIES质量评估步骤。
为了减小错误分类率，我们引入了基于结构相似性指数(SSIM)的确认方法。图9中示出了确认步骤2的子步骤。SSIM是一种用于测量两个图像之间的相似度的方法。某些现有技术使用全参考度量，其经设计用于通过将图像劣化视为结构信息的觉察到的变化来改进诸如PSNR和MSE的传统度量。两个窗口x和y之间的SSIM是：
其中，ux和uy是平均值，和是方差，σxy分别是x和y的协方差。
然而，在步骤2中以不同的方式使用SSIM。代替全参考方法，通过对一组高质量眼底图像求平均来生成参考图像。将输入图像逐一地与该参考图像进行比较，以生成相应的SSIM值(子步骤21)。可以将SSIM值与预定的阈值进行比较，从而获得对图像是否为眼底图像的判决(子步骤22)。
直观地，诸如风景图像以及其他眼部图像的非眼底图像应该具有低SSIM。相比之下，具有伪影的眼底图像(例如，曝光过度的图像)应具有高SSIM。因此，我们可以将曝光过度的眼底图像与非眼底图像分离开。图10示出了这是如何发生的。图10(a)是普通眼底图像。图10(b)示出了具有0.42的SSIM的非眼底图像(实际上是风景图像)。图10(c)示出了质量差的眼底图像，其仍然具有0.73的SSIM。因而，如果阈值低于该值，则图10(c)被识别为眼底图像。
应当注意，在图6的过程中，在确认步骤中而不是在初始视网膜图像识别步骤中使用SSIM。这是因为我们发现SSIM在图像识别方面相比于所述的BoW过程具有较低准确度，但是在识别被错误分类的视网膜图像和非视网膜图像方面是准确的。如果省略确认步骤，则一些质量非常差的眼底图像可能被错误分类为非视网膜图像。
3.对视网膜图像的图像质量评估
图像质量评估步骤3区分具有高质量的视网膜图像与具有质量差的视网膜图像。如前所述，ARIES评估图像的焦点区域以及整个图像。该过程在图11中示出，并且包括ROI质量评估31的子步骤和全图像质量评估的子步骤32。子步骤32可以执行多于一次，每次将眼部的不同结构区域用作ROI(例如，一次使用对应于视盘的ROI，一次使用对应于黄斑的ROI)。
应当理解，子步骤31和32是独立的，因而可以以相反的顺序执行或甚至并行执行。
因而，焦点区域图像质量评估31的第一子子步骤是检测焦点感兴趣区域(ROI)311。实际上，本实施例试图以预定的顺序检测多个ROI。如果不能检测到根据该预定顺序的第一个ROI，则将提取和评估另一个ROI。对可能的ROI的预定序列重复该过程，直到找到合适的ROI，或者当穷尽所有可能的ROI时。换句话说，当某个ROI已被检测出具有高准确度时，本实施例不测试预定列表上的其余ROI。对高质量图像的初始ROI检测的成功率非常高。因而，只有初始质量测试失败的图像才会重复进行该过程。
随后，高级别图像质量测度(HIQM)从ROI图像被提取312以形成特征空间。最后，执行SVM分类313，以产生ROI图像质量评分。除了使用全图像而不使用ROI图像来提取HIQM特征之外，全图像质量评估过程32遵循相似的流程。因而，子步骤32包括HIQM特征提取的子子步骤321，以及可以通过SVM分类执行的分类和回归的子步骤322，给出了完整的图像质量评分。
ROI图像质量评分和全图像质量评分是一般质量评分，并且可以根据应用以各种方式使用。一个选择是将它们之中的任意一个或多个与相应的阈值进行比较，然后如果评分低于阈值，则拒绝它们(至少为了某些目的)。例如，如果对ROI中的第一ROI的质量评分低于阈值，但是对第二ROI的质量评分高于阈值，则可能拒绝该图像用于获得关于第一ROI的信息，但是它仍然可以用于获得关于第二ROI的信息。然而，对高于相应的阈值的全图像质量评分而言，这可能是有条件的。
在下面的文本中，我们将使用视盘图像来说明该过程。
a)子子步骤311：视盘ROI检测
在视盘(OD)定位中，我们首先找到属于OD的像素。感兴趣区域(ROI)是来自原始图像的包含OD的裁切子图像。OD通常比眼底图像的其他区域更亮。然而，由于不均匀的照度或离焦图像，眼球的边缘也可能很亮。为了根据强度值精确地检测OD中心，我们识别出了亮边并将其去除。该边缘通过在灰度图像中定位稍小于眼球的圆圈来提取，并且作为该圆圈外的高强度像素的临界。可以通过从灰度图像中减去亮边来获得边缘去除的图像。然后该图像作为临界来获得在强度上前0.5％的像素。OD的中心近似为其余的亮像素的质心。然后，ROI被定义为约正常OD的直径的两倍的图像。
图12示出了OD定位和ROI检测的示例。图12(a)是原始图像(以黑白色示出，但实际上原始图像是彩色的)；图12(b)是从原始图像获得的灰度图像；图12(c)示出了提取出的高强度边缘；图12(d)是去除了高强度边缘的图12(b)的图像；图12(e)示出了临界高强度像素；并且图12(f)通过白色矩形示出了图12(b)的图像的被作为ROI提取的部分。
b)子子步骤312HIQM特征提取
我们建议使用高级别图像质量测度(HIQM)来代替使用具有极高尺度的低级别图像特征，因为高级别图像质量测度与本实施例所解决的问题高度相关，以及它们的低尺度和由此引起的高速度。HIQM特征有三类，并且它们被概括如下。
·对比和模糊特征
高级别对比度和模糊度测度包括对比度测量、模糊测度、强度较差(intensityrange)和饱和度度量。
对比度被计算为
其中是图像I在RGB颜色空间中的通道j中的所有像素的平均强度，sj＝std(Ij)是所有像素强度的标准差，j可以是红色通道r、绿色通道g、蓝色通道b和灰度级gs。
越高的对比度对应于越高的模糊度。这在直观上是对的，因为模糊图像在强度上通常具有小方差，导致了高对比度。与对比度类似，我们还在图像的非重叠子窗口上使用局部对比度，其被定义为
其中，w是N x N像素窗口，并且n是子窗口的总数。
模糊度量(BM)是基于相同图片上可感知的不同的模糊级别之间的辨识度。它不需要参考来计算，并具有低成本实现方式。该测度在测量局部模糊和运动模糊方面是稳健的。在数学上，它通过比较原始图像及其通过低通滤波器的模糊形式的强度变化而获得。
包括全强度较差(R)、相对强度较差和四分位差(IQR)在内的强度较差是测量图像灰度级扩展的重要度量。相比于具有质量差的图像，具有高质量或高对比度的图像通常具有较大的强度较差。
R＝max(I)-min(I)
IQR＝Q3(I)-Q1(I)
其中，I是灰度图像的所有像素强度的阵列，Q1和Q3是第1个和第3个四分位值。
饱和度度量包括分别测量处于最高强度和最低强度的像素的比例的最大百分比(Pmax)和最小百分比(Pmin)。前者用于识别曝光过度的图像；而后者能够识别出曝光不足的图像。
·熵特征
图像的熵可以用于表示其中的信息量。它被计算为：
其中pi是两个相邻像素之间的差值等于i的概率。
如果图像已经被理想地直方图均衡化，则灰度值的扩展处于最大。因而，该图像具有最大熵。另一方面，二进制图像的熵是很低的，因为它只有两个状态。如果图像具有均匀值像素，则熵为零。
对于视盘感兴趣区域，高质量图像应当包含视盘、视杯和血管的对应于高图像熵的清晰结构。另一方面，质量差的图像不包含这些结构的精细特征，因而具有低图像熵。
·图像结构特征
视盘区域具有高密度的血管。因而，血管密度(BVD)能够被用作区分低质量和高质量视盘图像的重要特征。
图13示出了两个不同图像中的检测出的脉管系统的差异，如图13(a)(质量差的图像)和图13(c)(高质量图像)所示。对应的检测出的血管如图13(b)和图13(d)所示。
另一个重要的结构特征是最大边缘长度或边缘扩展(ES)。脉管和视盘边界的边缘对于高质量图像通常是连续的，最大边缘扩展也是如此。为了计算BVD和ES，我们首先使用快速底帽滤波(fast bottom-hat filtering)方法检测图像中的血管。底帽滤波器应用于直方图均衡化的绿色通道图像(g)以获得随后，血管图M通过下式来确定
在获得脉管图后，可以通过下式来获得BVD
其中m和n分别表示图像的宽度和高度。
边缘扩展被计算为M中所有连接分量的最大主轴长度除以图像的对角线长度
其中l表示M中的每个连接分量的主轴长度。因此，结合所有三类的特征，HIQM包含38个高级别图像质量测度。这些特征将在下一步中使用。
c)子子步骤313图像质量分类与评估
在子子步骤313中，使用支持向量机(SVM)来训练分类器。基于SVM的分类可以被公式化为具有线性约束的二次规划问题：
受限于yi(ωTφ(xi)+b)≥1-ξi
ξi≥0,i＝1,…,N
其中xi是训练向量，yi是训练标记，ω是法向量，b是偏移量，ξi是实现软间隔的松弛变量，C是惩罚项，以及φ是内核函数。
还使用SVM判决函数的输出(判决值)来代替使用仅来自SVM的二进制分类结果。我们将判决值归一化来产生视网膜图像质量评分(RQS)：
RQS＝wd+b
其中d表示判决值，w和b是常数系数。RQS具有从0到1的值，越高的值表示越好的图像质量。
分别以与子子步骤312和313相同的方式执行子子步骤321和322，以针对输入图像整体产生ROI图像质量评分。
图14示出了能够用于实现图6的实施例的计算机系统200的技术体系结构。该技术体系结构包括与存储器设备进行通信的处理器222(可以被称为中央处理器单元或CPU)，存储器设备包括二级存储装置224(诸如，磁盘驱动装置)、只读存储器(ROM)226、随机访问存储器(RAM)228。处理器222可以被实现为一个或多个CPU芯片。该技术体系结构可以进一步包括输入/输出(I/O)设备230和网络连接设备232。
二级存储装置224通常由一个或多个磁盘驱动装置或磁带驱动装置组成，并且在RAM 228不够大保存所有工作数据的情况下用于数据的非易失性存储并作为溢出数据存储装置。二级存储装置224可用于在加载到RAM 228中的程序被选择执行时来存储这种程序。
在本实施例中，二级存储装置224具有包括非暂时性指令的命令处理组件224a，非暂时性指令由处理器222操作以执行本公开的方法的各种操作。ROM 266用于存储在程序运行期间被读取的指令和可能的数据。二级存储装置224、RAM 228和/或ROM 226在某些情况下可以被称为计算机可读存储介质和/或非暂时性计算机可读介质。
I/O设备230可以包括打印机、视频监视器、液晶显示器(LCD)、等离子体显示器、触摸屏显示器、键盘、小键盘、开关、拨盘、鼠标、跟踪球、语音识别器、读卡器、纸带读取器或其他公知的输入设备。
网络连接设备232可以采取以下的形式：调制解调器、调制解调器组、以太网卡、通用串行总线(USB)接口卡、串行接口、令牌环卡、光纤分布式数据接口(FDDI)卡、无线局域网(WLAN)卡、使用诸如码分多址(CDMA)、全球移动通信系统(GSM)、长期演进(LTE)、全球微波接入互联接入(WiMAX)、近场通信(NFC)、射频识别(RFID)来促进无线电通信的无线电收发器卡和/或其他空中接口协议无线电收发器卡、以及其他公知的网络设备。这些网络连接设备232可以使处理器222能够与因特网或一个或多个内联网进行通信。利用这样的网络连接，可以设想处理器222在执行上述方法操作的过程中可以从网络接收信息，或者可以向该网络输出信息。经常被表示为将使用处理器222执行的指令序列的这种信息可以例如以体现在载波中的计算机数据信号的形式从网络接收以及输出到网络。
处理器222执行从硬盘、软盘、光盘(这些各种基于磁盘的系统都可以被认为是二级存储装置224)、闪盘驱动器、ROM 266、RAM 228或网络连接设备232存取的指令、代码、计算机程序、脚本。虽然仅示出了一个处理器222，但是可以存在多个处理器。因而，虽然指令可以被论述为由处理器执行，但是该指令可以由一个或多个处理器同时地、串行地执行或以其他方式运行。
尽管本技术体系结构是参考计算机进行描述的，但是应当理解，本技术体系结构可以由协作执行任务的彼此通信的两个以上的计算机形成。例如，但不是限制性的，应用程序可以以允许对该应用程序的指令的进行同时处理和/或并行处理这样的方式进行划分。可替代地，由应用程序处理的数据可以以允许由两个以上的计算机对数据集的不同部分进行同时处理和/或并行处理这样的方式进行划分。在实施例中，技术体系结构220可以采用虚拟化软件来提供不直接绑定到技术体系结构220中的多个计算机的多个服务器的功能。在实施例中，可以通过在云计算环境中执行一个应用程序和/或多个应用程序来提供上述公开的功能。云计算可以包括通过使用动态可扩展的计算资源经由网络连接来提供计算服务。云计算环境可以由企业建立和/或可以根据需要从第三方提供商租用。
应当理解，通过将可执行指令编程和/或加载到本技术体系结构上，改变了CPU222、RAM 228和ROM 226中的至少一个，将本技术体系结构部分地转换成具有本公开所教导的新颖功能的特定用途的机器或装置。通过将可执行软件加载到计算机中可以实现的功能可以通过公知的设计规则转换为硬件实现，这对电气工程和软件工程技术领域是基础的。
3.实验结果
所提出的系统对来自诸如新加坡马来眼科研究(SiMES)、新加坡中华眼科研究(SCES)和蓝山眼科研究(BMES)的一系列眼底图像数据库的图像进行研究。还使用诸如裂隙灯图像、OCT图像、眼底成像系统图像和风景图像的多个非眼底图像数据库来测试视网膜图像识别。所使用的数据库的概要如表I所示。用于后续质量评估的图像来自SiMES数据库。下面给出了详细描述。
表1：数据库概要
数据库名称 图像类型 图像数量
SiMES 眼底 5928
SCES 眼底 1676
BMES 眼底 6222
其他眼底 眼底 12314
ACHIKO-NC 裂隙灯 5530
AGAR数据库 OCT 1664
AGATE数据库 眼底成像系统 3699
风景 风景 4509
合计 41542
眼底图像识别算法对包括2700个眼底图像和3500个非眼底图像的6200个图像进行了训练。对包括23441个眼底图像和11902个非眼底图像的一批35342个图像进行了测试。该系统在测试集中对眼底图像和非眼底图像分类达到准确度99.54％。
在训练阶段，随机选取2700个眼底图像、500个OCT图像、500个眼底成像系统图像、500个裂隙灯图像和2000个风景图像作为训练数据集。其余图像用作测试数据集。对测试数据集的训练的总结和实验结果在表II示出。
表II：眼底图像识别实验结果总结
现在我们来描述眼底图像质量评估的结果(步骤3)。如上所述，取决于应用，可以以相反的顺序执行步骤31和32，并且下面的实验结果来自在步骤31之前执行步骤32的应用。
a)全图像评估(子步骤32)
该算法对740个图像的数据库进行了训练和测试，其中600个质量好的图像，且140个质量差的图像。140个质量差的图像中的123个是由于存在白内障引起，约占88％。其他的主要是由于拍摄期间照度不均匀和曝光过度引起。所有图像的尺寸为3072x2048像素。在实验环境中，一半的图像用于训练(300个质量好的图像和70个质量差的图像)，且另一半用于测试。
根据图像的全RQS相应地是高于还是低于阈值，图像被分类为高质量或低质量。所使用的阈值是通过反复试验设定的。在使用给定CAD系统的实施例的商业应用中，由于每个系统可以处理具有不同质量标准的图像，因此可以根据系统的属性来设定阈值。
该算法对训练集和测试集的分类可以分别达到94.3％和91.6％的准确度。在全图像质量评分(全RQS)方面，在接收器工作特征曲线的曲线下方面积(AUC)分别达到0.967和0.958。
为了比较，我们基于眼底图像中的血管树执行了无参考质量度量(QV)。对740个图像的相同数据集上进行测试，QV度量达到0.796的AUC。两种方法的ROC曲线如图15所示。全RQS的ROC曲线示出为深色，并且QV度量的ROC曲线示出为浅色。
b)视盘ROI评估(ROI基于视盘的情况下的子步骤31)
对于视盘ROI质量评估，使用上文说明的方法利用800×800像素的尺寸提取ROI图像。用于此部分的数据集是来自上面定义的全图像数据集的光学ROI图像，并且通过将相应的阈值应用于全图像质量评分和视盘质量评分，图像被标记为高质量。这样做的逻辑是，高(低)质量的全图像通常具有高(低)质量的视盘区域。表III示出了对眼底图像质量分类的10倍交叉验证的结果。
表III：眼底图像质量分类的准确度
ARIES系统还产生从0到1范围内的OD质量评分(odRQS)。接近1的评分表示高质量图像。另一方面，接近0的评分表示质量很低的图像。根据odRQS相应地是高于还是低于阈值，可以将图像分类为高质量或低质量。在使用给定CAD系统的实施例的商业应用中，由于每个系统可以处理具有不同质量标准的图像，因此可以根据系统的属性来设定阈值。
图16示出了具有不同级别的图像质量评分的图像。图16(a)具有质量评分0.30，图16(b)具有质量评分0.66，并且图16(c)具有质量评分0.92。
QV度量也在视盘ROI图像上实现，其达到0.532的AUC。然而，提出的视盘ROI RQS可以通过达到0.987的AUC而有更好的效果。ROC曲线如图17所示，其中视盘RQS由深色线示出，并且QV度量由浅色线示出。
c)黄斑ROI评估(ROI基于黄斑的情况下的子步骤31)
最后一个实验是对黄斑ROI进行的，以测试图像是否足够优良来诊断AMD。与全图像和视盘ROI类似，系统产生黄斑ROI质量评分(黄斑RQS)。该模块对472个图像的数据库进行训练和测试，其中350个具有质量好的黄斑ROI，且122个具有质量差的黄斑ROI。使用自动方法实现了黄斑检测。然后，黄斑ROI被提取为以该黄斑为中心的1220×1220图像。
使用一半的数据集进行训练，且另一半用于测试，在10倍交叉验证中，平均分类准确度对训练数据集和测试数据集可以达到89％和86％。根据黄斑RQS相应地是否高于或低于阈值，图像可以被分类为高质量或低质量。在使用给定CAD系统的实施例的商业应用中，由于每个系统可以处理具有不同质量标准的图像，因此可以根据系统的属性来设定阈值。
如示出了黄斑RQS的ROC曲线的图18所示，对于测试集，黄斑RQS度量的AUC可以高达0.92。
应当注意，全RQS、odRQS和黄斑RQS中的每一个都提供了一种将图像分类为高质量或低质量的独立手段。odRQS和黄斑RQS针对特定的相应的ROI。具有高的全RQS评分的图像可以对应于质量差的黄斑区域和高质量的OD区域，或高质量的黄斑区域和质量差的OD区域或某其他组合。因而，根据实施例的应用，特别是在CAD中采用被分类为高质量的图像的区域的情况下，对RQS值的不同选择可以被选择以用于分类中。

Claims (11)

1.一种用于评估受检对象的眼部的至少一个视网膜图像的质量的计算机实现的方法，所述方法包括：
通过以下方式生成针对所述视网膜图像的至少一个质量评分：
在所述图像中识别至少一个感兴趣区域(ROI)，所述ROI是所述眼部的预定结构部分的图像，
提取所述感兴趣区域的一个或多个特征；
使用针对所述感兴趣区域提取出的特征和自适应模型来生成针对所述感兴趣区域的质量评分，所述自适应模型已经使用先前获得的其它眼部的相应的结构部分的图像的特征而获得。
2.根据权利要求1所述的方法，其中存在对于(i)所述眼部的视盘和(ii)黄斑中的至少一个的ROI。
3.根据权利要求1或权利要求2所述的方法，进一步包括通过以下方式获得针对完整视网膜图像的质量评分：
提取所述完整视网膜图像的一个或多个特征；和
使用针对所述完整视网膜图像提取出的特征和自适应模型来生成针对所述完整视网膜图像的质量评分，所述自适应模型已经使用先前获得的其它眼部的视网膜图像的特征而获得。
4.根据权利要求1、权利要求2和权利要求3所述的方法，其中所述提取出的特征包括以下中的一个或多个：
对比度测度；
模糊测度；
熵测度；以及
血管密度测度。
5.一种评估图像的方法，包括：
判定所述图像是否为视网膜图像；
如果所述判定是肯定的，则通过根据权利要求1至4中任一项所述的方法来评估所述图像的所述质量。
6.根据权利要求5所述的方法，其中所述判定采用以下中的至少一个来执行：
提取所述图像的词袋(BoW)特征以及使用词袋分类器对所述图像进行分类的过程；和
结构相似性指数(SSIM)分类，其通过获得所述图像的多个特征数值与其它眼部的先前获得的图像的特征数值的相似度的数值测度来执行。
7.根据权利要求6所述的方法，其中所述判定通过以下方式执行：
使用所述词袋分类器进行初始分类；以及
使用所述SSIM分类来重新评价被所述词袋分类器分类为不是视网膜图像的图像。
8.一种使用眼部的视网膜图像获得关于所述眼部的信息的方法，包括：
根据任一前述权利要求所述的方法来评估所述图像的质量；
判定质量评分是否符合预定标准；以及
如果所述判定是肯定的，则通过分析所述图像来获得关于所述眼部的信息。
9.一种治疗眼部的方法，包括：
采用根据权利要求7所述的方法获得关于眼部的信息；
使用所述信息执行诊断步骤；
根据所述诊断步骤，选择治疗程序；以及
执行所述治疗程序。
10.一种计算机系统，包括处理器和存储计算机程序指令的数据存储装置，所述计算机程序指令在由所述处理器对所述指令执行时运行，使所述处理器执行根据权利要求1至8中的任一项所述的方法。
11.一种诸如有形数据存储装置的计算机程序产品，其存储计算机程序指令，所述计算机程序指令在由处理器对所述指令执行时运行，使所述处理器执行根据权利要求1至8中的任一项所述的方法。
CN201580058074.3A 2014-08-25 2015-08-25 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 Pending CN107209933A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201405206X 2014-08-25
SG10201405206X 2014-08-25
PCT/SG2015/050275 WO2016032397A1 (en) 2014-08-25 2015-08-25 Methods and systems for assessing retinal images, and obtaining information from retinal images

Publications (1)

Publication Number Publication Date
CN107209933A true CN107209933A (zh) 2017-09-26

Family

ID=55400138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058074.3A Pending CN107209933A (zh) 2014-08-25 2015-08-25 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统

Country Status (5)

Country Link
US (1) US10325176B2 (zh)
EP (1) EP3186779A4 (zh)
CN (1) CN107209933A (zh)
SG (1) SG11201701485TA (zh)
WO (1) WO2016032397A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845088A (zh) * 2017-10-25 2018-03-27 苏州比格威医疗科技有限公司 基于动态约束图搜索的视网膜oct图像中生理参数获取算法
CN108272434A (zh) * 2017-12-07 2018-07-13 江威 对眼底图像进行处理的方法及装置
CN108416371A (zh) * 2018-02-11 2018-08-17 艾视医疗科技成都有限公司 一种糖尿病性视网膜病变自动检测方法
CN108416344A (zh) * 2017-12-28 2018-08-17 中山大学中山眼科中心 眼底彩照视盘与黄斑定位识别方法
CN108460766A (zh) * 2018-04-12 2018-08-28 四川和生视界医药技术开发有限公司 一种视网膜图像清晰度评估方法以及评估装置
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN109697719A (zh) * 2019-03-05 2019-04-30 百度在线网络技术（北京）有限公司 一种图像质量评估方法、装置及计算机可读存储介质
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质
CN109886946A (zh) * 2019-02-18 2019-06-14 广州视源电子科技股份有限公司 基于深度学习的早期老年性黄斑病变弱监督分类方法
CN109919831A (zh) * 2019-02-13 2019-06-21 广州视源电子科技股份有限公司 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质
CN110009627A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技（深圳）有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110037651A (zh) * 2018-01-15 2019-07-23 江威 眼底图像的质量控制方法及装置
CN110335254A (zh) * 2019-06-10 2019-10-15 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
WO2019232910A1 (zh) * 2018-06-08 2019-12-12 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN110942437A (zh) * 2019-11-29 2020-03-31 石家庄铁道大学 基于Otsu-SSIM的自适应顶帽变换方法
CN111325631A (zh) * 2018-12-14 2020-06-23 福州依影健康科技有限公司 一种基于眼底图像的健康保险控费的方法和系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405739B2 (en) 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
US9934591B2 (en) 2016-04-08 2018-04-03 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
CA3041404A1 (en) 2016-10-25 2018-05-03 Amo Groningen B.V. Realistic eye models to design and evaluate intraocular lenses for a large field of view
DE102016226230B4 (de) * 2016-12-27 2018-07-12 Siemens Healthcare Gmbh Automatisierte Bildprüfung in der Röntgenbildgebung
US10739227B2 (en) 2017-03-23 2020-08-11 Johnson & Johnson Surgical Vision, Inc. Methods and systems for measuring image quality
CN107451998B (zh) * 2017-08-08 2020-11-06 北京大恒普信医疗技术有限公司 一种眼底图像质量控制方法
WO2019082202A1 (en) * 2017-10-23 2019-05-02 Artificial Learning Systems India Private Limited EARTHQUAKE IMAGE QUALITY ASSESSMENT SYSTEM
AU2018376564A1 (en) 2017-11-30 2020-06-04 Amo Groningen B.V. Intraocular lenses that improve post-surgical spectacle independent and methods of manufacturing thereof
CA3090200A1 (en) 2018-02-08 2019-08-15 Amo Groningen B.V. Multi-wavelength wavefront system and method for measuring diffractive lenses
AU2019219238A1 (en) 2018-02-08 2020-08-13 Amo Groningen B.V. Wavefront based characterization of lens surfaces based on reflections
CN111680683B (zh) * 2019-03-30 2023-06-02 上海铼锶信息技术有限公司 一种roi参数的获取方法及系统
EP3719807A1 (en) * 2019-04-04 2020-10-07 Optos PLC Predicting a pathological condition from a medical image
CN112241982A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及机器可读存储介质
CN110516579B (zh) * 2019-08-21 2021-09-07 北京至真互联网技术有限公司 手持眼底相机拍照方法和装置、设备及存储介质
CN111489328B (zh) * 2020-03-06 2023-06-30 浙江工业大学 一种基于血管分割和背景分离的眼底图像质量评价方法
CN111652805B (zh) * 2020-03-13 2023-05-09 中山大学 一种用于眼底图像拼接的图像预处理方法
WO2022149082A1 (en) * 2021-01-06 2022-07-14 Aeye Health, Inc. Retinal imaging quality assessment and filtering method using blood vessel characteristics and visibility
TWI784688B (zh) * 2021-08-26 2022-11-21 宏碁股份有限公司 眼睛狀態評估方法及電子裝置
CN115311685B (zh) * 2022-08-05 2023-05-02 杭州电子科技大学 一种基于平均结构相似度的毫米波图像检出结果判定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2746382A1 (en) * 2008-12-19 2010-07-15 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
US20120274898A1 (en) * 2011-04-29 2012-11-01 Doheny Eye Institute Systems and methods for automated classification of abnormalities in optical coherence tomography images of the eye
CN102843957A (zh) * 2009-08-24 2012-12-26 新加坡保健服务集团有限公司 一种用于检测视盘出血的方法及系统
CN102881010A (zh) * 2012-08-28 2013-01-16 北京理工大学 基于人眼视觉特性的融合图像感知清晰度评价方法
WO2014074178A1 (en) * 2012-11-08 2014-05-15 The Johns Hopkins University System and method for detecting and classifying severity of retinal disease

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030073A1 (en) 2001-10-03 2003-04-10 Retinalyze Danmark A/S Quality measure
US20120150029A1 (en) * 2008-12-19 2012-06-14 University Of Miami System and Method for Detection and Monitoring of Ocular Diseases and Disorders using Optical Coherence Tomography
US20130222767A1 (en) 2011-10-12 2013-08-29 Jun Cheng Methods and systems for detecting peripapillary atrophy
US20150125052A1 (en) 2012-06-05 2015-05-07 Agency For Science, Technology And Research Drusen lesion image detection system
WO2014031086A1 (en) 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US9390327B2 (en) * 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
EP4057215A1 (en) * 2013-10-22 2022-09-14 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
CN105934193A (zh) * 2013-12-23 2016-09-07 Rsbv有限责任公司 宽场视网膜图像采集系统和方法
US10719936B2 (en) * 2017-04-27 2020-07-21 Retinascan Limited System and method for automated funduscopic image analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2746382A1 (en) * 2008-12-19 2010-07-15 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
CN102843957A (zh) * 2009-08-24 2012-12-26 新加坡保健服务集团有限公司 一种用于检测视盘出血的方法及系统
US20120274898A1 (en) * 2011-04-29 2012-11-01 Doheny Eye Institute Systems and methods for automated classification of abnormalities in optical coherence tomography images of the eye
CN102881010A (zh) * 2012-08-28 2013-01-16 北京理工大学 基于人眼视觉特性的融合图像感知清晰度评价方法
WO2014074178A1 (en) * 2012-11-08 2014-05-15 The Johns Hopkins University System and method for detecting and classifying severity of retinal disease

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALAN D. FLEMING 等: "Automated Assessment of Diabetic Retinal Image Quality Based on Clarity and Field Definition", 《INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE》 *
ANDREW HUNTER 等: "An automated retinal image quality grading algorithm", 《CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 *
HONGGANG YU 等: "Automated image quality evaluation of retinal fundus photographs in diabetic retinopathy screening", 《2012 IEEE SOUTHWEST SYMPOSIUM ON IMAGE ANALYSIS AND INTERPRETATION》 *
RAMON PIRES 等: "Retinal Image Quality Analysis for Automatic Diabetic Retinopathy Detection", 《CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080215A1 (zh) * 2017-10-25 2019-05-02 苏州比格威医疗科技有限公司 基于动态约束图搜索的视网膜oct图像中生理参数获取算法
CN107845088A (zh) * 2017-10-25 2018-03-27 苏州比格威医疗科技有限公司 基于动态约束图搜索的视网膜oct图像中生理参数获取算法
CN107845088B (zh) * 2017-10-25 2020-02-07 苏州比格威医疗科技有限公司 基于动态约束图搜索的视网膜oct图像中生理参数获取方法
CN108272434A (zh) * 2017-12-07 2018-07-13 江威 对眼底图像进行处理的方法及装置
CN108272434B (zh) * 2017-12-07 2020-06-19 柯鑫 对眼底图像进行处理的方法及装置
CN108416344B (zh) * 2017-12-28 2021-09-21 中山大学中山眼科中心 眼底彩照视盘与黄斑定位识别方法
CN108416344A (zh) * 2017-12-28 2018-08-17 中山大学中山眼科中心 眼底彩照视盘与黄斑定位识别方法
CN110037651B (zh) * 2018-01-15 2022-03-25 江威 眼底图像的质量控制方法及装置
CN110037651A (zh) * 2018-01-15 2019-07-23 江威 眼底图像的质量控制方法及装置
CN108416371A (zh) * 2018-02-11 2018-08-17 艾视医疗科技成都有限公司 一种糖尿病性视网膜病变自动检测方法
CN108460766B (zh) * 2018-04-12 2022-02-25 四川和生视界医药技术开发有限公司 一种视网膜图像清晰度评估方法以及评估装置
CN108460766A (zh) * 2018-04-12 2018-08-28 四川和生视界医药技术开发有限公司 一种视网膜图像清晰度评估方法以及评估装置
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN110648303A (zh) * 2018-06-08 2020-01-03 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
US11315241B2 (en) 2018-06-08 2022-04-26 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
WO2019232910A1 (zh) * 2018-06-08 2019-12-12 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN110648303B (zh) * 2018-06-08 2022-07-26 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN111325631B (zh) * 2018-12-14 2022-06-24 福州依影健康科技有限公司 一种基于眼底图像的健康保险控费的方法和系统
CN111325631A (zh) * 2018-12-14 2020-06-23 福州依影健康科技有限公司 一种基于眼底图像的健康保险控费的方法和系统
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技（深圳）有限公司 一种评估眼底图像质量的方法、装置及存储介质
WO2020147263A1 (zh) * 2019-01-18 2020-07-23 平安科技（深圳）有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110021009B (zh) * 2019-01-18 2023-07-21 平安科技（深圳）有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN109919831B (zh) * 2019-02-13 2023-08-25 广州视源电子科技股份有限公司 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质
CN109919831A (zh) * 2019-02-13 2019-06-21 广州视源电子科技股份有限公司 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质
CN109886946A (zh) * 2019-02-18 2019-06-14 广州视源电子科技股份有限公司 基于深度学习的早期老年性黄斑病变弱监督分类方法
CN109697719A (zh) * 2019-03-05 2019-04-30 百度在线网络技术（北京）有限公司 一种图像质量评估方法、装置及计算机可读存储介质
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质
CN110009627A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN110335254B (zh) * 2019-06-10 2021-07-27 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
CN110335254A (zh) * 2019-06-10 2019-10-15 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
CN110942437B (zh) * 2019-11-29 2022-11-08 石家庄铁道大学 基于Otsu-SSIM的自适应顶帽变换方法
CN110942437A (zh) * 2019-11-29 2020-03-31 石家庄铁道大学 基于Otsu-SSIM的自适应顶帽变换方法

Also Published As

Publication number Publication date
EP3186779A1 (en) 2017-07-05
US10325176B2 (en) 2019-06-18
EP3186779A4 (en) 2018-04-04
WO2016032397A1 (en) 2016-03-03
SG11201701485TA (en) 2017-03-30
US20180181833A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN107209933A (zh) 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统
US9779492B1 (en) Retinal image quality assessment, error identification and automatic quality correction
Kauppi et al. The diaretdb1 diabetic retinopathy database and evaluation protocol.
Xiong et al. An approach to evaluate blurriness in retinal images with vitreous opacity for cataract diagnosis
CN109308692B (zh) 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
KR20200005409A (ko) 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법
Shao et al. Automated quality assessment of fundus images via analysis of illumination, naturalness and structure
Da Rocha et al. Diabetic retinopathy classification using VGG16 neural network
Scarpa et al. Multiple-image deep learning analysis for neuropathy detection in corneal nerve images
Wan et al. Retinal image enhancement using cycle-constraint adversarial network
Brancati et al. Learning-based approach to segment pigment signs in fundus images for retinitis pigmentosa analysis
Shaik et al. Glaucoma identification based on segmentation and fusion techniques
Leopold et al. Deep learning for retinal analysis
Shamrat et al. An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection
WO2019082202A1 (en) EARTHQUAKE IMAGE QUALITY ASSESSMENT SYSTEM
Jana et al. A semi-supervised approach for automatic detection and segmentation of optic disc from retinal fundus image
Fu et al. A GAN-based deep enhancer for quality enhancement of retinal images photographed by a handheld fundus camera
Yin et al. Automatic retinal interest evaluation system (ARIES)
Kusakunniran et al. Automatic quality assessment and segmentation of diabetic retinopathy images
Roy et al. RetNet: retinal disease detection using convolutional neural network
Khalid et al. FGR-Net: interpretable fundus image gradeability classification based on deep reconstruction learning
Hussein et al. Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration
Yang et al. Adaptive enhancement of cataractous retinal images for contrast standardization
Azeroual et al. Convolutional Neural Network for Segmentation and Classification of Glaucoma.
P. S et al. Microaneurysms detection using fundus images based on deep convolutional neural network enabled fractional hunter osprey optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication