CN108717696A - 黄斑影像检测方法和设备 - Google Patents

Abstract

本发明提供一种黄斑影像检测方法和设备，其中所述黄斑影像检测方法包括：获取眼底图像；利用机器学习模型对所述眼底图像进行识别，以输出标记特征区域后的眼底图像，所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种，其中所述机器学习模型是利用已知所述特征区域所在位置的样本图像进行训练得到的；根据所述标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像。

Description

黄斑影像检测方法和设备

技术领域

本发明涉及医疗图像处理领域，具体涉及一种黄斑影像检测方法和设备。

背景技术

在医疗领域中，黄斑在眼底视神经盘的颞侧0.35cm处并稍下方，处于人眼的光学中心区，是视力轴线的投影点。黄斑位于视网膜的中心，该部位集中了大量的视觉功能细胞。黄斑区的异常经常直接导致视觉能力的下降，黄斑区的病变如果没有被及时的发现和治疗，失明的几率将大大提高。

为了提高医生观察眼底图像的效率，现有技术提出了通过图像处理的方式根据黄斑的形状、颜色等特征来自动识别并标记眼底图像中的黄斑区域。但是病变的黄斑区的识别难度很大，因为眼底图像中黄斑的形态特征往往因病变程度的不同而差异巨大。当眼底有大面积病变的时候，黄斑区可能被病变影响，进而无法直接判断黄斑在眼底的具体位置。

图1示出了一个存在病变的眼底图像，如图1所示，由于眼底的大面积病变而导致黄斑区不易被直接观察到，因此很难通过线条特征对其进行识别，由此可见现有的眼底图像识别方法鲁棒性较差。

发明内容

有鉴于此，本发明提供了一种黄斑影像检测方法，包括：

获取眼底图像；

利用机器学习模型对所述眼底图像进行识别，以输出标记特征区域后的眼底图像，所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种，其中所述机器学习模型是利用已知所述特征区域所在位置的样本图像进行训练得到的；

根据所述标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像。

可选地，当所述特征区域中包括黄斑区域时，输出标记黄斑区域后的眼底图像。

可选地，当所述标记特征区不包括黄斑区域时，所述根据所述标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像，包括：

根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置；

输出标记黄斑区域后的眼底图像。

可选地，当所述特征区域同时包括视盘区域和黄斑视盘联合区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

根据所述视盘区域和所述黄斑视盘联合区域的位置确定所述黄斑视盘联合区域中不含视盘区域的区域；

根据所述黄斑视盘联合区域中不含视盘区域内的图像特征确定黄斑区域所在位置。

可选地，当所述特征区域为黄斑视盘联合区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

将所述黄斑视盘联合区域等分为两个区域；

根据所述两个区域内的图像特征将其中一个区域确定为黄斑区域。

可选地，当所述特征区域为视盘区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

确定所述视盘区域的中心位置；

在距离所述中心位置预设距离、预设方向外的位置选定预定尺寸的区域作为黄斑区域。

本发明还提供了一种黄斑影像识别模型训练方法，包括：

获取样本数据，所述样本数据包括眼底图像和标记了特征区域后的眼底图像，其中所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种；

利用所述样本数据对机器学习模型进行训练，以使所述机器学习模型从眼底图像中标记出所述特征区域。

可选地，所述获取样本数据包括：

获取第一样本数据，所述第一样本数据包括眼底图像和标记了特征区域后的眼底图像，其中所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种；

对所述第一样本数据中的眼底图像和标记了特征区域后的眼底图像进行预定角度的翻转处理以获得第二样本数据。

相应地，本发明提供一种黄斑影像检测设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述黄斑影像检测方法。

相应地，本发明提供一种黄斑影像识别模型训练设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述黄斑影像识别模型训练方法。

根据本发明提供的黄斑影像检测方法和设备，利用机器学习模型对眼底图像进行识别和标记，在眼底图像中标记出黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种区域，进而根据标记出的区域种类做进一步处理以输出标记黄斑区域的眼底图像，由此提升对低质量眼底图像的识别、判断的精确程度，并达到识别黄斑区域的目的，具有较强的鲁棒性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种存在病变的眼底图像；

图2为本发明实施例中的黄斑影像检测方法的流程图；

图3为发明实施例中的机器学习模型所输出的标记特征区域后的眼底图像；

图4为本发明实施例中的一种具体的黄斑影像检测方法的流程图；

图5为确定了空缺区域的眼底图像；

图6为划分了左侧区域和右侧区域的眼底图像；

图7为基于视盘区域中心确定了黄斑区域的眼底图像；

图8为本发明实施例中的黄斑影像识别模型训练方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种黄斑影像检测方法，该方法可以由个人计算机、服务器等电子设备执行，如图2所示该方法包括如下步骤：

S1，获取眼底图像。如图1所示，该图像是通过眼部检测设备拍摄的用于诊断眼部病变的图像；

S2，利用机器学习模型对眼底图像进行识别，该机器学习模型是预先使用大量样本数据训练出的模型。本发明中的机器学习模型可以是神经网络模型、深度学习模型等，用于机器学习的目标检测有多种算法可以使用，比如R-CNN(Regions with ConvolutionalNeural Network，卷积神经网络)、Fast R-CNN、Faster R-CNN、DSOD(Deeply SupervisedObject Detectors，学习型深度监督对象检测器)等。

具体地，机器学习模型是利用已知特征区域所在位置的样本图像进行训练得到的。例如可以由人工或其他自动识别方法对眼底图像进行识别和标记，并将其作为样本数据。标记的内容可以是黄斑区域、视盘区域和黄斑视盘联合区域中的任意一个或多个。例如当无法确定黄斑区域和视盘区域时，可以只标记出黄斑视盘联合区域这一个区域作为样本数据。机器学习模型通过对大量的样本数据进行学习以改变内部参数，终将可以从未做标记的眼底图像中自动标记出某一种或多种特征区域。

如图3所示，机器学习模型输出标记特征区域后的眼底图像，特征区域为黄斑区域31、视盘区域32和黄斑视盘联合区域33中的至少一种。图3所示的是一个同时标记出上述三种特征区域的情况，实际应用中可能只输出标记了其中任意一个或两个的情况。需要说明的是，黄斑视盘联合区域33是同时包含了视盘影像和黄斑影像的区域。在本发明实施例中，这些区域的轮廓呈矩形，该形状是由模型训练过程中的样本数据决定的，如果在训练过程中改变样本数据中标记的形状，例如使用圆形、不规则形状等，训练出的模型也将进行相应形状的标记。

S3，根据标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像。如上所述，机器学习模型输出的眼底图像可能包括多种标记，经过实验统计，采用上述方法处理眼底图像时，对于80％的眼底图像，机器学习模型可以直接输出标记了黄斑区域的图像，并同时标记另外两种特征区域。对于模型输出的眼底图像直接被标记了黄斑区域情况，则可以直接将其作为结果；也可以再根据另外两种特征区域的位置再估计一个黄斑区域的位置，将估计出的位置与机器学习模型标记的黄斑位置进行比对，并根据比对结果进行修正。

而当机器学习模型输出的眼底图像不包含黄斑区域时，即有3种情况，分别是只标记了视盘区域、只标记了黄斑视盘联合区域和同时标记了上述两种区域的情况。在此情况下，也可以根据标记的种类采用多种相应的计算方式来估计出黄斑区域所在位置。

根据本发明实施例提供的黄斑影像检测方法，利用机器学习模型对眼底图像进行识别和标记，在眼底图像中标记出黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种区域，进而根据标记出的区域种类做进一步处理以输出标记黄斑区域的眼底图像，由此提升对低质量眼底图像的识别、判断的精确程度，并达到识别黄斑区域的目的，具有较强的鲁棒性。

在提取到黄斑影像之后，还可以利用人工智能的手段针对黄斑影像进行识别，以确定黄斑是否异常。具体地，可以预先建立(训练)一个用于识别黄斑影像的机器学习模型(如卷积神经网络模型)，训练数据为样本黄斑影像及其相应的标签信息，标签信息可以是各种病变信息。经过训练后，该模型可以根据上述步骤S3提取到的黄斑影像进行识别，确定其标签信息。

本发明另一实施例提供一种具体的黄斑影像检测方法，如图4所示该方法包括：

S’1，获取眼底图像，具体可参见上述步骤S1；

S’2，利用机器学习模型对眼底图像进行识别，以输出标记特征区域后的眼底图像，特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种，该机器学习模型是利用已知特征区域所在位置的样本图像进行训练得到的，具体可参见上述步骤S2。

S’3，判断标记特征区域后的眼底图像是否包括黄斑区域。在本实施例中，机器学习模型输出标记特征区域后的眼底图像的同时，可以配合输出相应的标识信息，用于表示其所标记的特征区域的种类。根据该标识信息即可确定是否包括黄斑区域。当标记特征区域后的眼底图像包括黄斑区域时执行步骤S’5；否则执行步骤S’4。

S’4，根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，随后执行步骤S’5。在本实施例中，既可以根据二者之一确定黄斑区域所在位置，也可以同时利用二者确定黄斑区域所在位置，具体将在下文中进行介绍；

S’5，输出标有黄斑区域的眼底图像。

作为一个优选的实施方式，上述步骤S’4具体可以包括如下步骤：

S’41，判断标记特征区域后的眼底图像中是否同时标记了视盘区域和黄斑视盘联合区域。若同时存在这两种特征区域则执行步骤S’42-S’43，否则执行步骤S’44。

S’42，根据视盘区域和黄斑视盘联合区域的位置确定所述黄斑视盘联合区域中不含视盘区域的区域。参见图5，根据视盘区域32和黄斑视盘联合区域33可以在黄斑视盘联合区域33内确定一个空缺区域51，根据医学知识可知，黄斑影像应当在空缺区域51内。

S’43，根据预设阈值对空缺区域51进行分割处理以确定黄斑区域所在位置。通过设定一个或多个特征阈值，把空缺区域51的像素点分为若干类，从而选取某一类像素点作为黄斑影像。关于特征阈值的选取，例如可以直接来自原始图像的灰度或彩色特征；也可以由原始灰度或彩色值变换得到的特征。作为一个举例说明，此步骤可以是一个二值化处理的过程，通过预设阈值将空缺区域51的背景处理为白色，并凸显出黄斑的影像。

在机器学习模型未标记出黄斑区域的情况下，上述优选方式利用机器学习模型输出的视盘区域和黄斑视盘联合区域筛选出一个空缺区域，很大程度的减小了对眼底图像的处理范围，只在空缺区域中基于像素特点识别黄斑影像，减少了计算量的同时提高了识别精度。

S’44，判断标记特征区域后的眼底图像中是否只有黄斑视盘联合区域，若只有黄斑视盘联合区域则执行步骤S’45-S’46，否则执行步骤S’47-S’48；

S’45，将黄斑视盘联合区域等分为两个区域，具体需要根据标记区域的形状和眼底图像的方向进行划分。以图6为例，按照图6所示方向和矩形标记，则可以将黄斑视盘联合区域33以矩形长的一边中间点分割，得到左侧区域61和右侧区域62；

S’46，根据两个区域内的图像特征将其中一个区域确定为黄斑区域，根据医学知识和图像朝向可知，黄斑影像应当在左侧区域61内，由此可以预先设置将左侧区域61视为黄斑区域。同理，对于圆形或者其它形状的标记，以及其它图像朝向而言，也可以根据情况预先设定等分方式，并设置将分割后的哪一个区域视为黄斑区域。

在机器学习模型未标记出黄斑区域的情况下，上述优选方式对黄斑视盘联合区域进行分割处理而得到黄斑区域，具有较高的计算效率。

S’47，确定视盘区域的中心位置。步骤S’47-S’48是机器学习模型输出了只标记视盘区域的情况。根据标记的形状，例如图7所示的圆形视盘区域32，可以识别出圆形区域的中心点71；

S’48，在距离中心位置预设距离、预设方向外的位置选定预定尺寸的区域作为黄斑区域。以图7为例，可以在向左距离中心点71的n倍视盘直径的距离的位置，选取一个的m倍视盘直径的距离大小的区域作为黄斑区域31，其中n和m可以预先进行标定，在本实施例中n和m均等于2。同理，对于矩形或者其它形状的标记，以及其它图像朝向而言，也可以根据情况确定中心点并确定方向、距离和尺寸的取值来估计换班区域31。

在机器学习模型未标记出黄斑区域的情况下，上述优选方式基于视盘区域和预先设置的方向、距离和尺寸来估计黄斑区域所在位置，具有较高的计算效率。

本发明实施例还提供了一种黄斑影像检测设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述实施例中的黄斑影像检测方法。

本发明的另一实施例还提供了一种黄斑影像识别模型训练方法，如图8所示，该方法包括：

S81，获取样本数据，样本数据包括眼底图像和标记了特征区域后的眼底图像，其中特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种。眼底图像可以包括健康人员和眼部疾病患者的眼底图像；标记了特征区域后的眼底图像可以是由人工或其他自动识别方法对上述眼底图像进行识别和标记得到的。标记的内容可以是黄斑区域、视盘区域和黄斑视盘联合区域中的任意一个或多个。例如当无法确定黄斑区域和视盘区域时，可以只标记出黄斑视盘联合区域这一个区域作为样本数据。

S82，利用样本数据对机器学习模型进行训练，以使机器学习模型从眼底图像中标记出特征区域。机器学习模型通过对大量的样本数据进行学习以改变内部参数，终将可以从未做标记的眼底图像中自动标记出某一种或多种特征区域。具体地，目标检测有多种算法可以使用，比如R-CNN,Fast R-CNN,Faster R-CNN,DSOD等，可以预先设置收敛条件，以提高模型识别精确度或者速度。

为了扩充样本数据，上述步骤S81可以包括：

S811，获取第一样本数据，第一样本数据包括眼底图像和标记了特征区域后的眼底图像，其中特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种；

S812，对第一样本数据中的眼底图像和标记了特征区域后的眼底图像进行预定角度的翻转处理以获得第二样本数据，这些处理包括镜像翻转、水平翻转和其他旋转，例如旋转的角度可以从-15度到+15度。

本实施例中的样本数据由第一样本数据和第二样本数据两种数据组成，第一样本数据是实际拍摄和标记出的数据，第二样本数据是通过对第一样本数据进行处理得到的，通过翻转、镜像等处理进行图像的扩充，以达到补充图像的目的，这些处理可以把图片数量扩充数倍，由此来提高机器学习模型的识别精度。

本发明实施例还提供了一种黄斑影像识别模型训练设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述实施例中的黄斑影像识别模型训练方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种黄斑影像检测方法，其特征在于，包括：

获取眼底图像；

利用机器学习模型对所述眼底图像进行识别，以输出标记特征区域后的眼底图像，所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种，其中所述机器学习模型是利用已知所述特征区域所在位置的样本图像进行训练得到的；

根据所述标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像。

2.根据权利要求1所述的方法，其特征在于，当所述特征区域中包括黄斑区域时，输出标记黄斑区域后的眼底图像。

3.根据权利要求1所述的方法，其特征在于，当所述标记特征区不包括黄斑区域时，所述根据所述标记特征区域后的眼底图像输出标记黄斑影像位置后的眼底图像，包括：

根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置；

输出标记黄斑区域后的眼底图像。

4.根据权利要求3所述的方法，其特征在于，当所述特征区域同时包括视盘区域和黄斑视盘联合区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

根据所述视盘区域和所述黄斑视盘联合区域的位置确定所述黄斑视盘联合区域中不含视盘区域的区域；

根据所述黄斑视盘联合区域中不含视盘区域内的图像特征确定黄斑区域所在位置。

5.根据权利要求3所述的方法，其特征在于，当所述特征区域为黄斑视盘联合区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

将所述黄斑视盘联合区域等分为两个区域；

根据所述两个区域内的图像特征将其中一个区域确定为黄斑区域。

6.根据权利要求3所述的方法，其特征在于，当所述特征区域为视盘区域时，所述根据视盘区域和/或黄斑视盘联合区域确定黄斑区域所在位置，包括：

确定所述视盘区域的中心位置；

在距离所述中心位置预设距离、预设方向外的位置选定预定尺寸的区域作为黄斑区域。

7.一种黄斑影像识别模型训练方法，其特征在于，包括：

获取样本数据，所述样本数据包括眼底图像和标记了特征区域后的眼底图像，其中所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种；

利用所述样本数据对机器学习模型进行训练，以使所述机器学习模型从眼底图像中标记出所述特征区域。

8.根据权利要求7所述的方法，其特征在于，所述获取样本数据包括：

获取第一样本数据，所述第一样本数据包括眼底图像和标记了特征区域后的眼底图像，其中所述特征区域为黄斑区域、视盘区域和黄斑视盘联合区域中的至少一种；

对所述第一样本数据中的眼底图像和标记了特征区域后的眼底图像进行预定角度的翻转处理以获得第二样本数据。

9.一种黄斑影像检测设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6任意一项所述的黄斑影像检测方法。

10.一种黄斑影像识别模型训练设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求7或8所述的黄斑影像识别模型训练方法。