CN108596895B - 基于机器学习的眼底图像检测方法、装置及系统 - Google Patents

Abstract

本发明公开了一种基于机器学习的眼底图像检测方法、装置及系统，其中方法包括如下步骤：获取待检测的眼底图像；对所述眼底图像整体区域进行第一特征集检测；如果所述眼底图像中不存在第一特征集，针对所述眼底图像中特定区域进行第二特征集检测；所述第一特征集的显著度大于第二特征集的显著度。在将特征种类繁多的眼底图像先进行一个大分类，将较为明显的特征先进行识别，在无较为明显的特征的图像中再进行分区的精细检测，分步串联检测，独立输出检测结果，不仅可以减少检测的数量，大大的提高识别效率，可以实现同时精确的检测明显的特征和微小的特征。

Description

基于机器学习的眼底图像检测方法、装置及系统

技术领域

本发明涉及图像处理技术领域，具体涉及到一种基于机器学习的眼底图像检测方法、装置及系统。

背景技术

近年来机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。例如，在眼底图像检测方面，深度学习技术可以较为准确的检测出眼底图像某一特征，如利用大量黄斑裂孔这一特征的样本对深度学习模型进行训练，利用训练后的模型对眼底图像进行黄斑裂孔检测。这些技术往往只局限于单一特征或者少量关联特征的检测，对其他特征不能准确的检测。然而，由于眼睛是人体中一个非常精细且复杂的器官，其包含的特征种类繁多，并且各个特征之间的差别往往也比较大。因此，采用现有的检测技术往往会导致检测结果难以收敛，致使检测结果不够准确。或者，将每一个特征均训练一个模型分别进行检测，不仅所需的样本数量巨大，在特征数量较大的情况下，导致计算量急剧提升，进而导致检测效率下降。

因此如何快速准确的对眼底图像进行检测成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何快速准确的对眼底图像进行检测。

为此，根据第一方面，本发明实例提供了一种基于机器学习的眼底图像检测方法，包括：获取待检测的眼底图像；对眼底图像整体区域进行第一特征集检测；如果眼底图像中不存在第一特征集，针对眼底图像中特定区域进行第二特征集检测；第一特征集的显著度大于第二特征集的显著度。

可选地，特定区域包括：视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。

可选地，所述第一特征集包括至少一个第一种类子特征；所述第二特征集包括特定区域中的至少一个第二种类子特征。

可选地，在获取待检测的眼底图像和判断眼底图像中是否存在第一特征集之间还包括：对眼底图像进行质量检测，以筛选眼底图像。

可选地，对眼底图像进行质量检测包括：对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。

可选地，在对眼底图像的不同眼底区域分别进行第二特征集检测之后还包括：将非包含第二特征集的眼底图像进行第三特征检测；第三特征的显著度小于第二特征集的显著度。

可选地，通过机器学习对第一特征集、第二特征集或质量中的至少之一进行检测。

根据第二方面，本发明实施例提供了一种基于机器学习的眼底图像检测装置，包括：获取模块，用于获取待检测的眼底图像；第一检测模块，用于对眼底图像整体区域进行第一特征集检测；第二检测模块，用于在第一检测模块检测出眼底图像中不存在第一特征集，针对眼底图像中特定区域进行第二特征集检测；第一特征集的显著度大于第二特征集的显著度。

可选地，特定区域包括：视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。

可选地，第一特征集和/或第二特征集为多特征集。

可选地，眼底图像检测装置还包括：第三检测模块，用于对眼底图像进行质量检测，以筛选眼底图像。

可选地，第三检测模块包括：检测单元，用于对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。

可选地，眼底图像检测装置，还包括：第四检测模块，用于将非包含第二特征集的眼底图像进行第三特征检测；第三特征的显著度小于第二特征集的显著度。

可选地，通过机器学习对第一特征集、第二特征集或眼底图像的质量中的至少之一进行检测。

根据第三方面，本发明实施例提供了一种电子设备，包括：控制器，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述第一方面任意一项描述的眼底图像检测方法。

根据第四方面，本发明实施例提供了基于机器学习的眼底图像检测系统，包括：图像采集装置，用于采集眼底图像；如上述第三方面的电子设备，设置在云端服务器内，与图像采集装置通信；输出装置，与电子设备通信，用于输出眼底图像检测的结果。

本发明实施例提供的基于机器学习的眼底图像检测方法、装置及系统，对待检测的眼底图像的整体区域先进行显著度较高的第一特征集的检测，对待检测的眼底图像进行初步的筛选，再将不包含第一特征集的图像的特定区域进行显著度较低的第二特征集检测，可以将特征种类繁多的眼底图像先进行一个大分类，将较为明显的特征先进行识别，在无较为明显的特征的图像中再进行分区的精细检测，分步串联检测，独立输出检测结果，不仅可以减少检测的数量，大大的提高识别效率，可以实现同时精确的检测明显的特征和微小的特征。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本实施例的基于机器学习的眼底图像检测方法的流程图；

图2示出了本实施例的另一基于机器学习的眼底图像检测方法的流程图；

图3示出了本实施例的基于机器学习的眼底图像检测装置的示意图；

图4示出了本实施例的电子设备示意图；

图5示出了本实施例的基于机器学习的眼底图像检测系统的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于机器学习的眼底图像检测方法，如图1 所示，包括如下步骤：

S11.获取待检测的眼底图像。

S12.对眼底图像整体区域进行第一特征集检测。在本实施例中，所称第一特征集可以为特征显著度大于预设显著度阈值的特征。具体的，所称显著度可以为通过颜色色差，对比度和灰度或者所占区域的大小等进行权衡。例如在眼底图像整体区域中存在与正常眼底颜色差别较大的区域，并且该区域所占的比例大于某一预设值，可以将该区域作为第一特征集。例如，可以将眼底较大面积的异常组织或结构，眼底较大的斑点等特征作为第一特征集。在本实施例中，第一特征集可以为多特征集，例如，可以将眼底较大面积或较为明显的异常组织或结构，眼底较大的斑点等特征作为第一特征集中的子特征。可以通过检测特征集合中任意一个子特征确定所称的第一特征集。在具体的实施例中，可以通过机器学习的方法进行第一特征集检测，具体的，可以通过大量具有第一特征集中的子特征的眼底图像样本对模型进行训练，将待检测的眼底照片输入第一特征集的模型中，对待检测的图像进行第一特征集检测。如果眼底图像存在第一特征集，可以进入步骤S13。如果眼底图像中不存在第一特征集，则进入步骤S14。在本实施例中，为减小计算量，可以将检测结果设置为存在第一特征集和不存在第一特征集的双标签结果。

S13.确认第一特征集的种类。在本实施例中，在本实施例中，第一特征集可以为多个子特征的集合，为提高检测的精度，可以将检测结果设置为多标签结果所称多个标签可以对应多个子特征。在本实施例中，第一特征集的种类可以包括眼底较大面积的异常组织或结构，眼底较大的斑点等特征，第一特征集还可以包括例如视盘、黄斑以及血管等眼底结构。可以根据各个子特征的属性确认第一特征集的种类。

S14.针对眼底图像中特定区域进行第二特征集检测。在本实施例中，第一特征集的显著度大于第二特征集的显著度，在本实施例中，第二特征集可以为细节特征，为方便理解，可以以第二特征集的颜色色差、对比度、灰度或区域面积小于第一特征集颜色色差、对比度、灰度或区域面积为例对第一特征集的显著度大于第二特征集的显著度进行说明。在本实施例中，第二特征集还可以为属于特定区域中的特征。为方便说明，在本实施例中，所称特定区域可以以视盘区域、黄斑区域以及血管区域和视网膜区域中的至少之一进行示例性说明。例如，特定区域为视盘区域，第二特征集可以以视盘形状异常，视盘颜色异常、视神经异常中的至少之一的子特征为例进行示例性说明。或者，特定区域为黄斑区域，第二特征集可以以黄斑结构异常和/或黄斑形状异常的子特征为例进行示例性说明。或者，特定区域为血管区域，第二特征集可以以血管颜色异常、血管走向异常、中央静脉形状异常、分支静脉形状异常至少之一的子特征为例进行示例性说明。或者，特定区域为视网膜区域，第二特征集可以为细小异常点，例如，颜色异常点，出现不规则形状的点，或者视网膜区域减小。本领域技术人员应当理解，第二特征集也可以包括眼底中其他细节的特征，例如血管纹路等。特定区域也可以包括其他特定区域，例如认为规定的一个区域或多个区域。在本实施例中，可以对多个特定区域的第二特征集进行并行检测，每个特定区域的检测结果可以独立输出，为减小计算量，可以将检测结果设置为存在第二特征集和不存在第二特征集的双标签结果。在本实施例中，也可以为提高检测的精度，可以将检测结果设置为多标签结果，多标签结果可以包括检测出不存在第二特征集以及存在第二特征集中的多个子特征。

对待检测的眼底图像的整体区域先进行显著度较高的第一特征集的检测，对待检测的眼底图像进行初步的筛选，再将不包含第一特征集的图像的特定区域进行显著度较低的第二特征集检测，可以将特征种类繁多的眼底图像先进行一个大分类，将较为明显的特征先进行识别，在无较为明显的特征的图像中再进行分区的精细检测，分步串联检测，独立输出检测结果，不仅可以减少检测的数量，大大的提高识别效率，可以实现同时精确的检测明显的特征和微小的特征。

由于图像拍摄者拍摄的眼底照片的图片质量差异很大，图片常常会曝光过度、灰暗、模糊，这使得机器学习判断的难度大大增加。作为可选地实施例，通过对图像质量进行检测，筛选出质量合格的图像可以进一步保证图像检测的精度。在具体的实施例中，可以对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。

具体的，污点/亮斑检测可以采用对多个待检测图像进行加权平均处理，得到平均图像，进而判断平均图像中是否存在超过预设亮度范围的像素点；当平均图像中存在超过预设亮度范围的像素点时，确认待检测图像中存在污点/亮斑。即可完成对污点或亮斑的检测。在进行漏光检测可以对待检测图像进行二值化处理，得到图像中的预设区域；生成基于预设区域边界的掩膜；使用掩膜与待检测图像融合；求取融合后图像的平均色彩亮度，并与预设色彩亮度阈值进行对比；根据对比结果确认待检测图像的漏光程度。在漏光程度大于预设值时，可以确认该眼底图像漏光。在进行局部阴影检测时可以统计待检测图像中任意一个颜色通道的直方图；统计小于预设像素值的像素点的数量；判断小于预设像素值的像素点的数量是否小于预设数量；当小于预设像素值的像素点的数量小于预设数量时，确认待检测图像中存在局部阴影。在对进行清晰度检测包括：提取待检测图像的高频分量；计算高频分量的信息量；基于高频分量的信息量确认待检测图像的清晰度。在曝光度检测时，可以将待检测图像转为灰度图像；统计灰度图像直方图的均方根；基于均方根大小确认待检测图像的曝光度。当眼底图像存在上述质量问题时，可能会影响图像的检测结果。导致检测结果不够准确。尤其是在第二特征集中的子特征检测时，很可能导致检测不到第二特征集中的子特征，因此，为保证图像的检测精度，在本实施例中，可以将存在上述图像质量的图像进行剔除。

在实际应用中，眼底图像中的一些特征，特别是一些显著度较小的异常特征可能不存在于眼底图像的特定区域，只对特定区域中的显著度较小的特征进行检测，可能会造成漏检，为提高检测的全面度和检测的精度，本发明实施例还提供了一种眼底图像检测方法，如图2所示，该方法可以包括如下步骤：

S21.获取待检测的眼底图像。

S22.对眼底图像整体区域进行第一特征集检测。具体的可以参见上述实施例中步骤S12中对于第一特征集检测的描述。如果眼底图像存在第一特征集，可以进入步骤S23。如果眼底图像中不存在第一特征集，则进入步骤S24

S23.确认第一特征集的种类。具体的可以参见上述实施例步骤S13中对于确认第一特征集的种类的描述。

S24.针对眼底图像中特定区域进行第二特征集检测。具体的可以参见上述实施例步骤S14中对于第二特征集检测的描述。

S25.将非包含第二特征集的眼底图像进行第三特征检测。在实施例中，眼底图像在进行显著度较高的第一特征集的筛选和特定区域显著度较低的第二特征集的筛选后，还可以对其他区域的其他特征进行检测，在本实施例中第三特征检测也可以通过机器学习的方法进行检测。具体的可以参见上述实施例中的描述。在本实施例中，第三特征可以包括相比于第二特征集更为精细的特征，例如，眼底反光点，以及分布式的异常点。在检测到第三特征后，检测结果为第三特征的结果。

在可选的实施例中，第三特征检测也可以与第二特征集检测并行，在第一特征集检测之后，可以分别对特定区域进行第二特征集检测，对特定区域以外的区域或眼底图像的整体区域进行第三特征检测，可以更为精确的检测图像的特征。

在可选的实施例中，采用机器学习对特征集进行检测时，每一种特征集或者对特征集中的子特征均可以采用卷积神经网络来实现。在本实施例中，所采用的卷积神经网络的基本单元机构是卷积层叠加激活函数(ReLu) 层和池化(Pooling),其中，卷积层是对特定的图像特征进行筛选，激活函数层使用ReLu激活函数对筛选出的特征进行非线性处理，池化层使用最大池化(max pooling)将不同位置的最强的信息提取出来。在提取信息的过程中可以采用归一化层(Batch Normalisation)提高网络容量同时防止训练网络过程中出现梯度弥散。经过多个这样的基本单元结构，眼底图像中的特征可以被提取出来，最后经过全连接层和输出层(softmax)。

根据需要检测的眼底特征的类型待测不同，在本实施例中，每个模块的网络层数在15到100层不等。具体的，卷积神经网络实现可以为如下结构：输入层-C1-BN1-R1-P1-C2-BN2-R2-P2-C3-BN3-R3-P3-C4 -BN4-R4-P4–C5-BN5–R5–P5-FC1–FC2–SoftMax。其中输入层为一定尺寸大小的图像，C表示卷积层(同理C1、C2、C3、C4、C5)，BN 表示批归一化层(同理BN1、BN2、BN3、BN4、BN5),R表示函数激活层(同理R1、R2、R3、R4、R5)，P表示池化层(同理P1、P2、P3、P4、 P5)，全连接层为FC1和FC2，SoftMax提供输出。本实施例中所采用的卷积神经网络并不限于上述卷积神经网络的结构，其他能够满足本实施的神经网络结果同样适用。

在本实施例中，由于第一特征集的显著度大于第二特征集和第三特征集的显著度，在本实施例中，可以根据特征的显著度来改变神经网络的隐藏层大小，所称隐藏层是输入到输出之间的层。具体的，显著度大的特征可以采用较小的隐藏层，显著度小的特征可以采用较大的隐藏层。在本实施例中，对于显著性小的第二特征集和第三特征集的卷积网络的最大隐藏层大于第一特征集的卷积网络的最大隐藏层。

具体地，对于处理显著性大的第一特征集时，因为特征显著度大，需要网络的最大隐藏层尺寸较小，例如，可以小于200x200，以便于提取特征。所以网络结构中，对于显著性小的第二特征集或第三特征集，最大尺寸的隐藏层的输出应该保持较大，比如大于300x300,以保证了细小的眼底子特征例如细小的渗出点和出血点，后者细微的结构异常，能够被发现并被提取出来。最大尺寸的隐藏层的输出的大小是由图像输入层、卷基层、池化层共同决定的，可以由多种方式实现，在这里不再赘述。本发明实施例提供了一种眼底图像检测装置，如图3所示，该检测装置包括：获取模块10，用于获取待检测的眼底图像；第一检测模块20，用于对眼底图像整体区域进行第一特征集检测；第二检测模块30，用于在第一检测模块检测出眼底图像中不存在第一特征集，针对眼底图像中特定区域进行第二特征集检测；第一特征集的显著度大于第二特征集的显著度。

作为可选的实施例，特定区域包括：视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。

作为可选的实施例，第一特征集和/或第二特征集为多特征集。

作为可选的实施例，眼底图像检测装置还包括：第三检测模块，用于对眼底图像进行质量检测，以筛选眼底图像。

作为可选的实施例，第三检测模块包括：检测单元，用于对眼底图像进行污点/亮斑检测、曝光度检测、清晰度检测、漏光检测、局部阴影检测中的任意一种或任意组合。

作为可选的实施例，眼底图像检测装置，还包括：第四检测模块，用于将非包含第二特征集的眼底图像进行第三特征检测；第三特征的显著度小于第二特征集的显著度。

作为可选的实施例，通过机器学习对第一特征集、第二特征集或眼底图像的质量中的至少之一进行检测。

一种电子设备，在本实施例中，电子设备可以为服务器，也可以为终端。如图4所示，包括控制器，控制器包括一个或多个处理器41以及存储器42，图4中以一个处理器41为例。

电子设备还可以包括：输入装置43和输出装置44。

处理器41、存储器42、输入装置43和输出装置44可以通过总线或者其他方式连接，图4中以通过总线连接为例。

处理器41可以为中央处理器(Central Processing Unit，CPU)。处理器 41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例眼底图像检测方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42 可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。

一个或者多个模块存储在存储器42中，当被一个或者多个处理器41 执行时，执行如图1或2所示的方法。

本发明实施例还提供了一种基于机器学习的眼底图像检测系统，如图5 所示，该系统可以包括：图像采集装置100，用于采集眼底图像。在本实施例中图像采集装置可以为多个，具体的，图像采集装置100可以为各个医院的眼底拍照设备，也可以为个人用户的眼底拍照设备。在本实施例中，眼底检测系统还可以包括云端服务器200，云端服务器200中设置有用于执行上述眼底图像检测方法的电子设备，与图形采集装置100通信，具体的可以采用无线通信的形式，也可以采用有线通信的形式，图像采集装置100 采集的眼底图像上传到云端服务器200内，通过电子设备执行眼底图像检测方法得到检测结果，可以通过输出装置输出检测结果，具体的，输出装置300可以为显示设备，也可以为打印设备，以报告的形式打印出来，还可以为用户的终端设备，例如手机、平板或个人电脑。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于机器学习的眼底图像检测方法，其特征在于，包括：

获取待检测的眼底图像；

对所述眼底图像整体区域进行第一特征集检测；

如果所述眼底图像中不存在第一特征集，针对所述眼底图像中特定区域进行第二特征集检测，以确定所述眼底图像中是否存在所述第二特征集，其中所述第一特征集的显著度大于所述第二特征集的显著度。

2.如权利要求1所述的基于机器学习的眼底图像检测方法，其特征在于，在对所述眼底图像整体区域进行第一特征集检测的步骤中，利用第一机器学习模型对所述眼底图像整体区域进行第一特征集检测；在针对所述眼底图像中特定区域进行第二特征集检测的步骤中，分别利用不同的第二机器学习模型针对不同的特定区域进行检测。

3.根据权利要求2所述的基于机器学习的眼底图像检测方法，其特征在于，所述第一机器学习模型和所述第二机器学习模型执行多标签分类操作，其分类结果用于表示所述眼底图像中是否包含第一特征和第二特征，以及所述第一特征和所述第二特征的具体类别。

4.如权利要求1所述的基于机器学习的眼底图像检测方法，其特征在于，在所述针对所述眼底图像中特定区域进行第二特征集检测之后还包括：

将非包含所述第二特征集的眼底图像进行第三特征检测，所述第三特征的显著度小于所述第二特征集的显著度。

5.根据权利要求4中所述的基于机器学习的眼底图像检测方法，其特征在于，所述第三特征集为眼底病变特征集。

6.如权利要求1-4中任一项所述的基于机器学习的眼底图像检测方法，其特征在于，所述特定区域包括：

视盘区域、黄斑区域、血管区域和视网膜区域中的至少之一。

7.根据权利要求1-4中任一项所述的基于机器学习的眼底图像检测方法，其特征在于，所述第一特征集和所述第二特征集均为眼底病变特征集。

8.一种基于机器学习的眼底图像检测装置，其特征在于，包括：

获取模块，用于获取待检测的眼底图像；

第一检测模块，用于对所述眼底图像整体区域进行第一特征集检测；

第二检测模块，用于在第一检测模块检测出所述眼底图像中不存在第一特征集，针对所述眼底图像中特定区域进行第二特征集检测，以确定所述眼底图像中是否存在所述第二特征集，所述第一特征集的显著度大于第二特征集的显著度。

9.一种电子设备，其特征在于，包括：控制器，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任意一项所述基于机器学习的眼底图像检测方法。

10.一种基于机器学习的眼底图像检测系统，其特征在于，包括：

图像采集装置，用于采集眼底图像；

如权利要求9所述的电子设备，设置在云端服务器内，与所述图像采集装置通信；

输出装置，与所述电子设备通信，用于输出眼底图像检测的结果。

Images