CN108577803A - 基于机器学习的眼底图像检测方法、装置及系统 - Google Patents

基于机器学习的眼底图像检测方法、装置及系统 Download PDF

Info

Publication number
CN108577803A
CN108577803A CN201810387484.8A CN201810387484A CN108577803A CN 108577803 A CN108577803 A CN 108577803A CN 201810387484 A CN201810387484 A CN 201810387484A CN 108577803 A CN108577803 A CN 108577803A
Authority
CN
China
Prior art keywords
detection
fundus image
eye fundus
feature
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810387484.8A
Other languages
English (en)
Other versions
CN108577803B (zh
Inventor
熊健皓
赵昕
马永培
李舒磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201810387484.8A priority Critical patent/CN108577803B/zh
Publication of CN108577803A publication Critical patent/CN108577803A/zh
Priority to EP19792203.2A priority patent/EP3785603B1/en
Priority to PCT/CN2019/084210 priority patent/WO2019206209A1/zh
Application granted granted Critical
Publication of CN108577803B publication Critical patent/CN108577803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/18143Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G06V30/18152Extracting features based on a plurality of salient regional features, e.g. "bag of words"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Abstract

本发明公开了一种基于机器学习的眼底图像检测方法、装置及系统,其中方法包括如下步骤:获取待检测的眼底图像;对所述眼底图像整体区域进行第一特征集检测;对所述眼底图像中特定区域进行第二特征集检测,所述第一特征中的特征的显著度大于第二特征集中的特征的显著度;基于机器学习对检测的结论进行判定得到最终检测结果。每种类型的特征分开检测,互不影响,可以较为精确的判断每个特征的类别,同时进行多种类别多种显著度的特征的检测,可以高效精确的对眼底图像进行检测。

Description

基于机器学习的眼底图像检测方法、装置及系统
技术领域
本发明涉及图像处理技术领域,具体涉及到一种基于机器学习的眼底图像检测方法、装置及系统。
背景技术
近年来机器学习在医学领域得到了广泛的应用,尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。例如,在眼底图像检测方面,深度学习技术可以较为准确的检测出眼底图像某一特征,如利用大量黄斑裂孔这一特征的样本对深度学习模型进行训练,利用训练后的模型对眼底图像进行黄斑裂孔检测。这些技术往往只局限于单一特征或者少量关联特征的检测,对其他特征不能准确的检测。然而,由于眼睛是人体中一个非常精细且复杂的器官,其包含的特征种类繁多,并且各个特征之间的差别往往也比较大。因此,采用现有的检测技术往往会导致检测结果难以收敛,致使检测结果不够准确。或者,将每一个特征均训练一个模型分别进行检测,不仅所需的样本数量巨大,在特征数量较大的情况下,导致计算量急剧提升,进而导致检测效率下降。
因此如何快速准确的对眼底图像进行检测成为亟待解决的技术问题。
发明内容
本发明要解决的技术问题在于如何快速准确的对眼底图像进行检测。
为此,根据第一方面,本发明实例提供了一种基于机器学习的眼底图像检测方法,包括:获取待检测的眼底图像;对眼底图像整体区域进行第一特征集检测;对眼底图像中特定区域进行第二特征集检测,第一特征中的特征的显著度大于第二特征集中的特征的显著度;基于机器学习对检测的结论进行判定得到最终检测结果。
可选地,特定区域包括:视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。
可选地,第一特征集包括至少一个第一种类子特征;第二特征集包括特定区域中的至少一个第二种类子特征。
可选地,在获取待检测的眼底图像和对眼底图像整体区域进行第一特征集检测之间还包括:对眼底图像进行质量检测,以筛选眼底图像。
可选地,对眼底图像进行质量检测包括:对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。
可选地,在获取待检测的眼底图像和对检测的结论进行判定得到最终检测结果之间特征还包括:将对眼底图像整体区域进行第三特征集检测,第三特征集包括至少一种第三类子特征,第三特征集的显著度小于第二特征集的显著度。
可选地,对检测的结论进行判定得到最终检测结果包括:获取判决机器学习模型,判决机器学习模型通过第一特征集、第二特征集和第三特征集中的子特征训练得到;将对第一特征集、第二特征集和第三特征集检测的结论输入判决机器学习模型,得到最终检测结果。
可选地,通过机器学习对第一特征集、第二特征及或质量中的至少之一进行检测。
根据第二方面,本发明实施例提供了一种眼底图像检测装置,包括:获取模块,用于获取待检测的眼底图像;第一检测模块,用于对眼底图像整体区域进行第一特征集检测;第二检测模块,用于对眼底图像中特定区域进行第二特征集检测,第一特征中的特征的显著度大于第二特征集中的特征的显著度;决策模块,用于基于机器学习对检测的结论进行判定得到最终检测结果。
可选地,特定区域包括:视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。
可选地,第一特征集包括至少一个第一种类子特征;第二特征集包括特定区域中的至少一个第二种类子特征。
可选地,眼底图像检测装置还包括:第三检测模块,用于对眼底图像进行质量检测,以筛选眼底图像。
可选地,第三检测模块包括:检测单元,用于对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。
可选地,眼底图像检测装置,还包括:第四检测模块,将对眼底图像整体区域进行第三特征集检测,第三特征集包括至少一种第三类子特征,第三特征集的显著度小于第二特征集的显著度。
可选地,决策模块包括:获取单元,用于获取判决机器学习模型,判决机器学习模型通过第一特征集、第二特征集和第三特征集中的子特征训练得到;决策单元,用于将对第一特征集、第二特征集和第三特征集检测的结论输入判决机器学习模型,得到最终检测结果。
可选地,通过机器学习对第一特征、第二特征或眼底图像的质量中的至少之一进行检测。
根据第三方面,本发明实施例提供了一种电子设备,包括:控制器,包括至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行上述第一方面任意一项描述的基于机器学习的眼底图像检测方法。
根据第四方面,本发明实施例提供了基于机器学习的眼底图像检测系统,包括:图像采集装置,用于采集眼底图像;如上述第三方面的电子设备,设置在云端服务器内,与图像采集装置通信;输出装置,与电子设备通信,用于输出眼底图像检测的结果。
本发明实施例提供了一种基于机器学习的眼底图像检测方法、装置及系统,对待检测的眼底图像的整体区域先进行显著度较高的第一特征集的检测,并对眼底图像的特定区域进行显著度较低的第二特征集检测,并且对第一特征集和第二特征集的检测结论进行判决,根据第一特征集和第二特征集的检测结论得到检测结果,每种类型的特征分开检测,互不影响,可以较为精确的判断每个特征的类别,同时进行多种类别多种显著度的特征的检测,可以高效精确的对眼底图像进行检测。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本实施例的基于机器学的眼底图像检测方法的流程图;
图2示出了本实施例的另一基于机器学的眼底图像检测方法的流程图;
图3示出了本实施例的基于机器学习的眼底图像检测装置的示意图;
图4示出了本实施例的电子设备示意图;
图5示出了本实施例的基于机器学习的眼底图像检测系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于机器学习的眼底图像检测方法,如图1所示,包括如下步骤:
S11.获取待检测的眼底图像。
S12.对眼底图像整体区域进行第一特征集检测。在本实施例中,所称第一特征集中的子特征可以为特征显著度大于预设显著度阈值的子特征。具体的,所称显著度可以为通过颜色色差,对比度和灰度或者所占区域的大小等进行权衡。例如在眼底图像整体区域中存在与正常眼底颜色差别较大的区域,并且该区域所占的比例大于某一预设值,可以将该区域作为第一特征集中的子特征。例如,可以将眼底较大面积或较为明显的异常组织或结构,眼底较大的斑点等特征作为第一特征集中的子特征。在本实施例中,第一特征可以为多特征集,例如,豹纹、白斑、激光斑以及大面积出血等特征的集合作为第一特征。可以通过检测特征集合中任意一个子特征确定所称的第一特征。在具体的实施例中,可以通过机器学习的方法进行第一特征集检测,具体的,可以通过大量具有第一特征集中的子特征的眼底图像样本对模型进行训练,将待检测的眼底照片输入训练好的第一特征集的检测模型中,对待检测的图像进行第一特征集检测。检测模型输出的检测结论双标签结论,即检测可以输出两个结论,例如无第一特征集中的子特征和包括第一特征集中的子特征这两个结论。在本实施例中,为提高检测的精度,检测模型输出的检测结论还可以为多标签结论,即检测结论可以输出多个结论,例如,可以将检测到的每一个第一特征集中的子特征和没有检测到第一特征集中的子特征分别作为检测结论。
S13.对眼底图像中特定区域进行第二特征集检测。在本实施例中,第一特征集的显著度大于第二特征集的显著度,在本实施例中,第二特征集可以为眼底图像中细节子特征,为方便理解,可以以第二特征集的颜色色差、对比度、灰度或区域面积小于第一特征颜色色差、对比度、灰度或区域面积为例对第一特征的显著度大于第二特征的显著度进行说明。在本实施例中,第二特征还可以为属于特定区域中的特征。为方便说明,在本实施例中,所称特定区域可以以视盘区域、黄斑区域以及血管区域和视网膜区域中的至少之一进行示例性说明。例如,特定区域为视盘区域,第二特征可以以视盘形状部分异常,视盘颜色部分异常、视神经异常中的至少之一的子特征为例进行示例性说明。或者,特定区域为黄斑区域,第二特征可以以黄斑结构异常和/或黄斑形状异常的子特征为例进行示例性说明。或者,特定区域为血管区域,第二特征可以以血管颜色异常、血管走向异常、中央静脉形状异常、分支静脉形状异常至少之一的子特征为例进行示例性说明。或者,特定区域为视网膜区域,第二特征集可以为细小异常点,例如,颜色异常点,出现不规则形状的点,或者视网膜区域减小。本领域技术人员应当理解,第二特征集也可以包括眼底中其他细节的特征,例如血管纹路等。特定区域也可以包括其他特定区域,例如认为规定的一个区域或多个区域。在本实施例中,对第二特征集的检测也可以通过机器学习的方法进行检测,具体的可以参见上述利用机器学习对第一特征检测方法。可以对多个特定区域的第二特征集进行并行检测,每个特定区域的检测结果可以独立输出,为减小计算量,可以将检测结论设置为存在第二特征集中的子特征和不存在第二特征集中的子特征的双标签结果。在本实施例中,也可以为提高检测的精度,可以将检测结论设置为多标签结论,例如,可以将检测到的每一个第一特征集中的子特征和没有检测到第一特征集中的子特征分别作为检测结论。本领域技术人员可以理解,第一特征集的检测和第二特征集的检测并非为串行的,在本实施例中,也可以先极性第二特征集检测再进行第一特征集检测。
S14.基于机器学习对检测的结论进行判定得到最终检测结果。在具体的实施例中,可以根据第一特征集的检测结论和第二特征集的检测结论进行判决得到最终检测结果,在本实施例中,检测的结论可以为双标签结论,即包含被检测的特征和不包含被检测的特征。在本实施例中,对两个检测结论进行判定,检测到第一特征集也检测到第二特征集时输出的检测结果包括检测到第一特征集和第二特征集。如果只检测到其中一个特征集,则检测结果可以包括检测到的该特征集。在本实施例中,检测的结论可以为多标签结论,即包含了第一特征集和/或第二特征集中的至少一个子特征和均没有检测到第一特征集和第二特征集中的子特征的结论。在检测到多标签结论中的任意一个或任意多个结论时,输出的检测结果可以为多标签结论中的任意一个或任意多个结论。在本实施例中,可以通过机器学习对检测的结论进行判决,得到判决结论。具体的,可以将大量的第一特征集和第二特征集的所有的子特征作为训练样本对机器学习模型进行训练,得到训练好的判决模型,将上述检测的结论包括第一特征集的检测结论和第二特征集的检测结论均输入判决模型中,输出判决结果。
对待检测的眼底图像的整体区域先进行显著度较高的第一特征集的检测,并对眼底图像的特定区域进行显著度较低的第二特征集检测,并且对第一特征集和第二特征集的检测结论进行判决,根据第一特征集和第二特征集的检测结论得到检测结果,每种类型的特征分开检测,互不影响,可以较为精确的判断每个特征的类别,同时进行多种类别多种显著度的特征的检测,可以高效精确的对眼底图像进行检测。
由于图像拍摄者拍摄的眼底照片的图片质量差异很大,图片常常会曝光过度、灰暗、模糊,这使得机器学习判断的难度大大增加。作为可选地实施例,通过对图像质量进行检测,筛选出质量合格的图像可以进一步保证图像检测的精度。在具体的实施例中,可以对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。
具体的,污点/亮斑检测可以采用对多个待检测图像进行加权平均处理,得到平均图像,进而判断平均图像中是否存在超过预设亮度范围的像素点;当平均图像中存在超过预设亮度范围的像素点时,确认待检测图像中存在污点/亮斑。即可完成对污点或亮斑的检测。在进行漏光检测可以对待检测图像进行二值化处理,得到图像中的预设区域;生成基于预设区域边界的掩膜;使用掩膜与待检测图像融合;求取融合后图像的平均色彩亮度,并与预设色彩亮度阈值进行对比;根据对比结果确认待检测图像的漏光程度。在漏光程度大于预设值时,可以确认该眼底图像漏光。在进行局部阴影检测时可以统计待检测图像中任意一个颜色通道的直方图;统计小于预设像素值的像素点的数量;判断小于预设像素值的像素点的数量是否小于预设数量;当小于预设像素值的像素点的数量小于预设数量时,确认待检测图像中存在局部阴影。在对进行清晰度检测包括:提取待检测图像的高频分量;计算高频分量的信息量;基于高频分量的信息量确认待检测图像的清晰度。在曝光度检测时,可以将待检测图像转为灰度图像;统计灰度图像直方图的均方根;基于均方根大小确认待检测图像的曝光度。当眼底图像存在上述质量问题时,可能会影响图像的检测结果。导致检测结果不够准确。尤其是在第二特征集中的子特征检测时,很可能导致检测不到第二特征集中的子特征,因此,为保证图像的检测精度,在本实施例中,可以将存在上述图像质量的图像进行剔除。
在实际应用中,眼底图像中的一些特征,特别是一些显著度较小的异常特征可能不存在于眼底图像的特定区域,只对特定区域中的显著度较小的特征进行检测,可能会造成漏检,为提高检测的全面度和检测的精度,本发明实施例还提供了一种眼底图像检测方法,如图2所示,该方法可以包括如下步骤:
S21.获取待检测的眼底图像。
S22.对眼底图像整体区域进行第一特征集检测。具体的可以参见上述实施例中步骤S12中对于第一特征集检测的描述。
S23.对眼底图像中特定区域进行第二特征集检测。具体的可以参见上述实施例步骤S13中对于对于第二特征集检测的描述。
S24.将对眼底图像整体区域进行第三特征集检测。在本实施例中,第三特征集可以包括至少一种第三类子特征,例如,眼底反光点,以及分布式的异常点等。在本实施例中,第三特征集的显著度小于第二特征集的显著度。第三特征集可以为更为细微的特征,可以存在于眼底非特定区域。也可以存在于特定区域。在本实施例中,第三特征集也可以通过机器学习的方法进行检测,具体可以参见利用机器学习对第一特征集和第二特征集的检测方法。
S25.基于机器学习对检测的结论进行判定得到最终检测结果在具体的可以参见上述实施例中步骤S14中对于对检测的结论进行判定得到最终检测结果的描述,在本实施例中,检测的结论包括第一特征集、第二特征集和第三特征集的检测结论。可以通过机器学习的方法得到最终检测结果,具体的,将第一特征集、第二特征集和第三特征集中的所有的子特征作为训练样本对判决模型进行训练,并将第一特征集、第二特征集和第三特征集的检测结论输入训练好的判决模型中,得到检测结果。
在可选的实施例中,采用机器学习对特征集进行检测时,每一种特征集或者对特征集中的子特征均可以采用卷积神经网络来实现。在本实施例中,所采用的卷积神经网络的基本单元机构是卷积层叠加激活函数(ReLu)层和池化(Pooling),其中,卷积层是对特定的图像特征进行筛选,激活函数层使用ReLu激活函数对筛选出的特征进行非线性处理,池化层使用最大池化(max pooling)将不同位置的最强的信息提取出来。在提取信息的过程中可以采用归一化层(Batch Normalisation)提高网络容量同时防止训练网络过程中出现梯度弥散。经过多个这样的基本单元结构,眼底图像中的特征可以被提取出来,最后经过全连接层和输出层(softmax)。
根据需要检测的眼底特征的类型待测不同,在本实施例中,每个模块的网络层数在15到100层不等。具体的,卷积神经网络实现可以为如下结构:输入层-C1-BN1-R1-P1-C2-BN2-R2-P2-C3-BN3-R3-P3-C4-BN4-R4-P4–C5-BN5–R5–P5-FC1–FC2–SoftMax。其中输入层为一定尺寸大小的图像,C表示卷积层(同理C1、C2、C3、C4、C5),BN表示批归一化层(同理BN1、BN2、BN3、BN4、BN5),R表示函数激活层(同理R1、R2、R3、R4、R5),P表示池化层(同理P1、P2、P3、P4、P5),全连接层为FC1和FC2,SoftMax提供输出。本实施例中所采用的卷积神经网络并不限于上述卷积神经网络的结构,其他能够满足本实施的神经网络结果同样适用。
在本实施例中,由于第一特征集的显著度大于第二特征集和第三特征集的显著度,在本实施例中,可以根据特征的显著度来改变神经网络的隐藏层大小,所称隐藏层是输入到输出之间的层。具体的,显著度大的特征可以采用较小的隐藏层,显著度小的特征可以采用较大的隐藏层。在本实施例中,对于显著性小的第二特征集和第三特征集的卷积网络的最大隐藏层大于第一特征集的卷积网络的最大隐藏层。
具体地,对于处理显著性大的第一特征集时,因为特征显著度大,需要网络的最大隐藏层尺寸较小,例如,可以小于200x200,以便于提取特征。所以网络结构中,对于显著性小的第二特征集或第三特征集,最大尺寸的隐藏层的输出应该保持较大,比如大于300x300,以保证了细小的眼底子特征例如细小的渗出点和出血点,后者细微的结构异常,能够被发现并被提取出来。最大尺寸的隐藏层的输出的大小是由图像输入层、卷基层、池化层共同决定的,可以由多种方式实现,在这里不再赘述。
本发明实施例提供了一种基于机器学习的眼底图像检测装置,如图3所示,该检测装置包括:获取模块10,用于获取待检测的眼底图像;第一检测模块20,用于对眼底图像整体区域进行第一特征集检测;第二检测模块30,用于对眼底图像中特定区域进行第二特征集检测,第一特征中的特征的显著度大于第二特征集中的特征的显著度;决策模块40,用于基于机器学习对检测的结论进行判定得到最终检测结果。
在可选的实施例中,特定区域包括:视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。
在可选的实施例中,第一特征集包括至少一个第一种类子特征;第二特征集包括特定区域中的至少一个第二种类子特征。
在可选的实施例中,眼底图像检测装置还包括:第三检测模块,用于对眼底图像进行质量检测,以筛选眼底图像。
在可选的实施例中,第三检测模块包括:检测单元,用于对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。
在可选的实施例中,眼底图像检测装置,还包括:第四检测模块,将对眼底图像整体区域进行第三特征集检测,第三特征集包括至少一种第三类子特征,第三特征集的显著度小于第二特征集的显著度。
在可选的实施例中,决策模块包括:获取单元,用于获取判决机器学习模型,判决机器学习模型通过第一特征集、第二特征集和第三特征集中的子特征训练得到;决策单元,用于将对第一特征集、第二特征集和第三特征集检测的结论输入判决机器学习模型,得到最终检测结果。
在可选的实施例中,通过机器学习对第一特征、第二特征或眼底图像的质量中的至少之一进行检测。
一种电子设备,在本实施例中,该电子设备可以为服务器,可以为终端,如图4所示,包括控制器,控制器包括一个或多个处理器41以及存储器42,图4中以一个处理器43为例。
用户终端还可以包括:输入装置43和输出装置44。
处理器41、存储器42、输入装置43和输出装置44可以通过总线或者其他方式连接,图4中以通过总线连接为例。
处理器41可以为中央处理器(Central Processing Unit,CPU)。处理器41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器42作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例眼底图像检测方法。
存储器42可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外,存储器42可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器42可选包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可接收输入的数字或字符信息,以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
一个或者多个模块存储在存储器42中,当被一个或者多个处理器41执行时,执行如图1或2所示的方法。
本发明实施例还提供了一种基于机器学习的眼底图像检测系统,如图5所示,该系统可以包括:图像采集装置100,用于采集眼底图像。在本实施例中图像采集装置可以为多个,具体的,图像采集装置100可以为各个医院的眼底拍照设备,也可以为个人用户的眼底拍照设备。在本实施例中,眼底检测系统还可以包括云端服务器200,云端服务器200中设置有用于执行上述眼底图像检测方法的电子设备,与图形采集装置100通信,具体的可以采用无线通信的形式,也可以采用有线通信的形式,图像采集装置100采集的眼底图像上传到云端服务器200内,通过电子设备执行眼底图像检测方法得到检测结果,可以通过输出装置输出检测结果,具体的,输出装置300可以为显示设备,也可以为打印设备,以报告的形式打印出来,还可以为用户的终端设备,例如手机、平板或个人电脑。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种基于机器学习的眼底图像检测方法,其特征在于,包括:
获取待检测的眼底图像;
对所述眼底图像整体区域进行第一特征集检测;
对所述眼底图像中特定区域进行第二特征集检测,所述第一特征中的特征的显著度大于第二特征集中的特征的显著度;
基于机器学习对检测的结论进行判定得到最终检测结果。
2.如权利要求1所述的基于机器学习的眼底图像检测方法,其特征在于,所述特定区域包括:
视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。
3.如权利要求1所述的基于机器学习的眼底图像检测方法,其特征在于,
所述第一特征集包括至少一个第一种类子特征;
所述第二特征集包括特定区域中的至少一个第二种类子特征。
4.如权利要求1所述的基于机器学习的眼底图像检测方法,其特征在于,在所述获取待检测的眼底图像和所述对所述眼底图像整体区域进行第一特征集检测之间还包括:
对所述眼底图像进行质量检测,以筛选所述眼底图像。
5.如权利要求4所述的基于机器学习的眼底图像检测方法,其特征在于,所述对所述眼底图像进行质量检测包括:
对所述眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。
6.如权利要求1-5任意一项所述的基于机器学习的眼底图像检测方法,其特征在于,在所述获取待检测的眼底图像和所述对检测的结论进行判定得到最终检测结果之间还包括:
将对所述眼底图像整体区域进行第三特征集检测,所述第三特征集包括至少一种第三类子特征,所述第三特征集的显著度小于所述第二特征集的显著度。
7.如权利要求6所述的基于机器学习的眼底图像检测方法,其特征在于,
所述对检测的结论进行判定得到最终检测结果包括:
获取判决机器学习模型,所述判决机器学习模型通过所述第一特征集、所述第二特征集和所述第三特征集中的子特征训练得到;
将对所述第一特征集、第二特征集和第三特征集检测的结论输入所述判决机器学习模型,得到最终检测结果。
8.如权利要求6所述的基于机器学习的眼底图像检测方法,其特征在于,
通过机器学习对所述第一特征集、所述第二特征集、所述第三特征集或所述质量中的至少之一进行检测。
9.一种基于机器学习的眼底图像检测装置,其特征在于,包括:
获取模块,获取待检测的眼底图像;
第一检测模块,用于对所述眼底图像整体区域进行第一特征集检测;
第二检测模块,用于对所述眼底图像中特定区域进行第二特征集检测,所述第一特征中的特征的显著度大于第二特征集中的特征的显著度;
决策模块,用于基于机器学习对检测的结论进行判定得到最终检测结果。
10.一种电子设备,其特征在于,包括:控制器,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-8任意一项所述的基于机器学习的眼底图像检测方法。
11.一种基于机器学习的眼底图像检测系统,其特征在于,包括:
图像采集装置,用于采集眼底图像;
如权利要求10所述的电子设备,设置在云端服务器内,与所述图像采集装置通信;
输出装置,与所述电子设备通信,用于输出眼底图像检测的结果。
CN201810387484.8A 2018-04-26 2018-04-26 基于机器学习的眼底图像检测方法、装置及系统 Active CN108577803B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810387484.8A CN108577803B (zh) 2018-04-26 2018-04-26 基于机器学习的眼底图像检测方法、装置及系统
EP19792203.2A EP3785603B1 (en) 2018-04-26 2019-04-25 Machine learning-based fundus image detection method, apparatus, and system
PCT/CN2019/084210 WO2019206209A1 (zh) 2018-04-26 2019-04-25 基于机器学习的眼底图像检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810387484.8A CN108577803B (zh) 2018-04-26 2018-04-26 基于机器学习的眼底图像检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108577803A true CN108577803A (zh) 2018-09-28
CN108577803B CN108577803B (zh) 2020-09-01

Family

ID=63610363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810387484.8A Active CN108577803B (zh) 2018-04-26 2018-04-26 基于机器学习的眼底图像检测方法、装置及系统

Country Status (3)

Country Link
EP (1) EP3785603B1 (zh)
CN (1) CN108577803B (zh)
WO (1) WO2019206209A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528155A (zh) * 2018-11-19 2019-03-29 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法
CN109859836A (zh) * 2019-01-15 2019-06-07 上海鹰瞳医疗科技有限公司 医疗图像识别方法和设备
CN109961848A (zh) * 2019-04-02 2019-07-02 上海鹰瞳医疗科技有限公司 黄斑图像分类方法和设备
CN109993731A (zh) * 2019-03-22 2019-07-09 依未科技(北京)有限公司 一种眼底病变分析方法及装置
CN110021052A (zh) * 2019-04-11 2019-07-16 北京百度网讯科技有限公司 用于生成眼底图像生成模型的方法和装置
WO2019206209A1 (zh) * 2018-04-26 2019-10-31 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备
CN111374632A (zh) * 2018-12-29 2020-07-07 张国明 视网膜病变检测方法、装置及计算机可读存储介质
CN112190227A (zh) * 2020-10-14 2021-01-08 上海鹰瞳医疗科技有限公司 眼底相机及其使用状态检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291667A (zh) * 2020-01-22 2020-06-16 上海交通大学 细胞视野图的异常检测方法及存储介质
CN111696100A (zh) * 2020-06-17 2020-09-22 上海鹰瞳医疗科技有限公司 基于眼底影像确定吸烟程度的方法及设备
CN112905828B (zh) * 2021-03-18 2023-06-16 西北大学 一种结合显著特征的图像检索器、数据库及检索方法
CN113361487A (zh) * 2021-07-09 2021-09-07 无锡时代天使医疗器械科技有限公司 异物检测方法、装置、设备及计算机可读存储介质
CN114494195A (zh) * 2022-01-26 2022-05-13 南通大学 用于眼底图像分类的小样本注意力机制并行孪生方法
CN117372284B (zh) * 2023-12-04 2024-02-23 江苏富翰医疗产业发展有限公司 眼底图像处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082366A1 (en) * 2009-06-03 2012-04-05 Nec Corporation Pathologic image diagnostic system, pathologic image diagnostic method, and pathologic image diagnostic program
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
CN104301585A (zh) * 2014-09-24 2015-01-21 南京邮电大学 一种运动场景中特定种类目标实时检测方法
CN107146231A (zh) * 2017-05-04 2017-09-08 季鑫 视网膜图像出血区域分割方法、装置和计算设备
CN107209933A (zh) * 2014-08-25 2017-09-26 新加坡科技研究局 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统
CN107346409A (zh) * 2016-05-05 2017-11-14 华为技术有限公司 行人再识别方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314288A1 (en) * 2013-04-17 2014-10-23 Keshab K. Parhi Method and apparatus to detect lesions of diabetic retinopathy in fundus images
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
US9008391B1 (en) * 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
CN105411525B (zh) * 2015-11-10 2017-05-31 广州河谷互动医疗科技有限公司 一种眼底照片图像智能获取识别系统
CN108596895B (zh) * 2018-04-26 2020-07-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN108577803B (zh) * 2018-04-26 2020-09-01 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082366A1 (en) * 2009-06-03 2012-04-05 Nec Corporation Pathologic image diagnostic system, pathologic image diagnostic method, and pathologic image diagnostic program
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN107209933A (zh) * 2014-08-25 2017-09-26 新加坡科技研究局 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统
CN104301585A (zh) * 2014-09-24 2015-01-21 南京邮电大学 一种运动场景中特定种类目标实时检测方法
CN107346409A (zh) * 2016-05-05 2017-11-14 华为技术有限公司 行人再识别方法和装置
CN107146231A (zh) * 2017-05-04 2017-09-08 季鑫 视网膜图像出血区域分割方法、装置和计算设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵相伟,北京航空航天大学出版社: "《MATLAB与测量数据处理》", 31 July 2011 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019206209A1 (zh) * 2018-04-26 2019-10-31 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN109528155A (zh) * 2018-11-19 2019-03-29 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法
CN111374632A (zh) * 2018-12-29 2020-07-07 张国明 视网膜病变检测方法、装置及计算机可读存储介质
CN109859836A (zh) * 2019-01-15 2019-06-07 上海鹰瞳医疗科技有限公司 医疗图像识别方法和设备
CN109859836B (zh) * 2019-01-15 2022-03-22 上海鹰瞳医疗科技有限公司 医疗图像识别方法和设备
CN109993731A (zh) * 2019-03-22 2019-07-09 依未科技(北京)有限公司 一种眼底病变分析方法及装置
CN109961848A (zh) * 2019-04-02 2019-07-02 上海鹰瞳医疗科技有限公司 黄斑图像分类方法和设备
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备
CN109961848B (zh) * 2019-04-02 2022-03-22 北京鹰瞳科技发展股份有限公司 黄斑图像分类方法和设备
CN110021052A (zh) * 2019-04-11 2019-07-16 北京百度网讯科技有限公司 用于生成眼底图像生成模型的方法和装置
CN112190227A (zh) * 2020-10-14 2021-01-08 上海鹰瞳医疗科技有限公司 眼底相机及其使用状态检测方法

Also Published As

Publication number Publication date
WO2019206209A1 (zh) 2019-10-31
EP3785603A1 (en) 2021-03-03
CN108577803B (zh) 2020-09-01
EP3785603A4 (en) 2021-06-23
EP3785603B1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
CN108577803A (zh) 基于机器学习的眼底图像检测方法、装置及系统
CN108596895A (zh) 基于机器学习的眼底图像检测方法、装置及系统
CN110021009B (zh) 一种评估眼底图像质量的方法、装置及存储介质
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
Liu et al. A deep learning-based algorithm identifies glaucomatous discs using monoscopic fundus photographs
US10115191B2 (en) Information processing apparatus, information processing system, information processing method, program, and recording medium
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
CN109697719B (zh) 一种图像质量评估方法、装置及计算机可读存储介质
CN108921825A (zh) 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN109602391A (zh) 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN110428421A (zh) 黄斑图像区域分割方法和设备
CN110378313A (zh) 细胞团识别方法、装置及电子设备
CN109815965B (zh) 一种图像过滤方法、装置及存储介质
CN109919179A (zh) 微动脉瘤自动检测方法、装置及计算机可读存储介质
CN110619332B (zh) 基于视野检查报告的数据处理方法、装置及设备
CN110197259A (zh) 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
CN109816666A (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
Vij et al. A systematic review on diabetic retinopathy detection using deep learning techniques
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统
CN107811606A (zh) 基于无线传感器网络的智能视力检测仪
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN110490138A (zh) 一种数据处理方法及装置、存储介质、电子设备
US20090119021A1 (en) Method and apparatus for determining and displaying medical informations
Iqbal et al. Automatic diagnosis of diabetic retinopathy using fundus images
WO2019082202A1 (en) EARTHQUAKE IMAGE QUALITY ASSESSMENT SYSTEM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Dalei

Inventor after: Xiong Jianhao

Inventor after: Zhao Xin

Inventor after: Ma Yongpei

Inventor after: Li Shulei

Inventor before: Xiong Jianhao

Inventor before: Zhao Xin

Inventor before: Ma Yongpei

Inventor before: Li Shulei

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220805

Address after: Room 21, floor 4, building 2, yard a 2, North West Third Ring Road, Haidian District, Beijing 100083

Patentee after: Beijing Yingtong Technology Development Co.,Ltd.

Patentee after: SHANGHAI EAGLEVISION MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 200030 room 01, 8 building, 1 Yizhou Road, Xuhui District, Shanghai, 180

Patentee before: SHANGHAI EAGLEVISION MEDICAL TECHNOLOGY Co.,Ltd.