CN109697716B - 青光眼图像识别方法、设备和筛查系统 - Google Patents

Abstract

本发明提供一种青光眼图像识别方法、设备和筛查系统，所述方法包括如下步骤：获取眼底图像；根据所述眼底图像获得视盘图像和视杯图像；根据所述视盘图像和所述视杯图像获得盘沿图像；根据所述盘沿图像判断所述眼底图像是否为青光眼图像。

Description

青光眼图像识别方法、设备和筛查系统

技术领域

本发明涉及眼部检测设备领域，具体涉及一种青光眼图像识别方法、设备和筛查系统。

背景技术

青光眼是一种不可逆的致盲性眼底疾病，在筛查或临床诊断上，医生可以通过观察眼底图像来判断被检查者是否可能患有青光眼，从而做出是否需要进一步检查或就诊的建议。

在临床诊断时，眼科医生可以通过观察眼底图中视杯和视盘的情况做出判断。例如视杯过大，导致视杯视盘的比例过大，则被检查者很可能患有青光眼，其中的杯盘比一般为视杯和视盘的垂直直径比。

但是，眼科医生肉眼或者借助拍摄设备估算杯盘比或者盘沿形态的方式主观性很强，缺乏客观数据依据，导致结果不够准确，而且消耗大量的时间和精力。

发明内容

有鉴于此，本发明提供一种青光眼图像识别方法，包括如下步骤：

获取眼底图像；

根据所述眼底图像获得视盘图像和视杯图像；

根据所述视盘图像和所述视杯图像获得盘沿图像；

根据所述盘沿图像判断所述眼底图像是否为青光眼图像。

可选地，所述根据根据所述眼底图像获得视盘图像和视杯图像，包括：

利用第一机器学习模型从所述眼底图像中识别出包含视盘的局部图像，视盘在所述局部图像中的占比大于视盘在所述眼底图像中的占比；

利用第二机器学习模型从所述局部图像中识别出视盘图像；

利用第三机器学习模型从所述局部图像中识别出视杯图像。

可选地，所述局部图像与所述眼底图像色彩一致。

可选地，所述第二机器学习模型输出视盘二值图像；所述第三机器学习模型输出视杯二值图像。

可选地，所述根据所述视盘图像和所述视杯图像获得盘沿图像，包括：

在视盘二值图像中减去视杯二值图像得到盘沿二值图像。

可选地，所述根据所述视盘图像和所述视杯图像获得盘沿图像，还包括：

根据所述盘沿二值图像在所述局部图像中截取盘沿图像。

可选地，所述根据所述盘沿图像判断所述眼底图像是否为青光眼图像，包括：

利用第四机器学习模型对所述盘沿图像进行识别，输出青光眼图像判断结果。

本发明还提供一种青光眼图像识别装置，包括：

获取单元，用于获取眼底图像；

区域识别单元，用于根据所述眼底图像获得视盘图像和视杯图像；

盘沿确定单元，用于根据所述视盘图像和所述视杯图像获得盘沿图像；

青光眼识别单元，用于根据所述盘沿图像判断所述眼底图像是否为青光眼图像。

本发明还提供一种青光眼图像识别设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述青光眼图像识别方法。

本发明还提供一种青光眼疾病筛查系统，包括：

眼底照相设备，用于拍摄眼底图像；以及

上述青光眼图像识别设备。

根据本发明实施例提供的青光眼图像识别方法，首先利用眼底图像获得视盘图像和视杯图像，然后根据这两个图像获得盘沿图像。对盘沿图像进行识别，避免背景和视盘和视杯边界模糊的影响，直观地根据盘沿形态判断青光眼眼底图像是否为青光眼图像，本方案基于图像数据及客观算法得出对青光眼的判断结果，节约人力资源，能够有效辅助医生或专家对青光眼疾病做出诊断。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的青光眼图像识别方法的流程图；

图2为本发明实施例中一种具体的青光眼图像识别方法的流程图；

图3为本发明实施例中的剪切后的眼底图像；

图4为本发明实施例中的包含视盘的局部图像；

图5为本发明实施例中的一种样本图像；

图6为本发明实施例中的获得视盘二值图像的示意图；

图7为本发明实施例中的获得视杯二值图像的示意图；

图8为本发明实施例中的盘沿二值图像；

图9为本发明实施例中的获得有色盘沿图像的示意图；

图10为本发明实施例中的青光眼图像识别装置的结构图；

图11为本发明实施例中的青光眼疾病筛查系统的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”和“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供了一种青光眼图像识别方法，该方法可以由计算机、服务器或者便携式终端等电子设备执行。如图1所示，该方法包括如下步骤：

S1A，获取眼底图像。眼底图像通常是彩色图像，但在本发明实施例中也可以使用单通道的灰度图像，甚至也可以是二值图像。

S2A，根据眼底图像获得视盘图像和视杯图像。具体提取方法包括多种，例如可以基于机器视觉原理，根据像素值特征搜索并提取视盘和视杯这两个区域形成图像；也可以采用人工智能算法，使用训练后的机器学习模型识别并提取这些区域并形成图像。

S3A，根据视盘图像和视杯图像获得盘沿图像。视杯区域在视盘区域以内，在视盘区域中去除视杯区域，通常可得到一个环状区域的图像。盘沿区域的表现形式可以是一张只显示盘沿区域的图像，例如在单一色彩的背景中存在一个环状区域。

S4A，根据盘沿图像判断眼底图像是否为青光眼图像。可以基于机器视觉原理，提取盘沿图像中的环状区域某些位置的形态特征，例如环状左右两侧的形态特征、上下两端的形态特征等等，根据这些形态特征确定眼底图像是否为青光眼图像。也可以采用人工智能算法，使用训练后的机器学习模型识别盘沿图像，输出识别结果。

通常情况下获取的眼底图像的方位和人体方位是一致的，即图像的上方和下方即为人体的上方和下方，图像两侧分别是人体的鼻侧和颞侧(左、右眼图像方向相反)。如果获取的图像角度比较特殊，可以在步骤S1后调整图像角度，使其与人体方位一致。

实际应用中，步骤S4A所输出的可以是一个用于表达患青光眼病可能性的信息，例如百分比信息；也可以输出如阴性或阳性这种结论性信息。这种信息可作为医生判断青光眼疾病的依据。

根据本发明实施例提供的青光眼图像识别方法，首先利用眼底图像获得视盘图像和视杯图像，然后根据这两个图像获得盘沿图像。对盘沿图像进行识别，避免背景及视盘和视杯边界模糊的影响，直观地根据盘沿形态判断青光眼眼底图像是否为青光眼图像，本方案基于图像数据及客观算法得出对青光眼的判断结果，节约人力资源，能够有效辅助医生或专家对青光眼疾病做出诊断。

本发明的一个实施例提供了一种具体的青光眼图像识别方法，在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是各种类型的神经网络。如图2所示，该方法包括如下步骤：

S1B，获取眼底照相设备拍摄的眼底照片。一般是有黑色背景的图像，背景中可能还包括一些文字信息。

S2B，对眼底照片进行剪裁得到眼底图像，该图像边缘恰好容纳圆形的眼底区域。如图3所示，剪切后图像的四个边分别与眼底区域边缘相交。这种剪裁操作是为了后续使用机器学习模型对图像进行识别而做出的优化处理，在其它实施例中也可不进行剪裁的操作，或者剪裁掉更多的内容，至少保留完整的视盘区域即可。

S3B，利用第一机器学习模型从眼底图像中识别出包含视盘的局部图像。视盘在该局部图像中的占比大于视盘在原眼底图像中的占比，局部图像内可包括视盘以及少部分眼底背景内容，图像的形状可以是设定的规则形状，例如一个方形图像或圆形图像。此步骤可以去除掉大部分眼底背景内容，得到一个如图4所示以视盘为主的局部图像。

在使用机器学习模型进行识别之前，应当使用训练数据对其进行训练。关于第一机器学习模型的训练过程，本发明实施例提供一种优选的模型训练方案。在训练阶段先通过手工把包括视盘的有效区域在眼底图像中标注出来得到训练数据，例如图5所示的虚线框为标注内容，这个标注框进入机器学习模型的形式为(x,y,height,width)，其中x,y为标注框左上角点在图像中的坐标，height、width分别为标注框的高度和宽度。利用大量的眼底图像和标注框一起输入模型进行训练，模型通过学习可以预测出包括视盘的有效区域的位置，以与标注框相同的形式输出结果。

本发明实施例可以采用现有的深度检测模型作为第一机器学习模型，如SSD、YOLO或Faster-RCNN等，也可以自行设计深度网络模型。

在本实施例中，局部图像与原始眼底图像色彩一致，作为一个检测和截取图像的过程；在其它实施例中，也可以获得变换色彩通道的图像，例如灰度图像。

S4B，对局部图像进行预处理以增强像素点特征。具体可以使用局部直方图均衡算法(CLAHE)对局部图像做图像增强。此步骤可以使图像中的特征更加突出，经过预处理后对图像进行识别时更容易找到视盘的轮廓和视杯的轮廓，从而提高识别准确性和识别效率。

S5B，利用第二机器学习模型从局部图像中识别出视盘图像、利用第三机器学习模型从局部图像中识别出视杯图像。此步骤得到的是更佳精确的区域分割结果，图像中的视盘和视杯轮廓与人体的视盘和视杯轮廓一致，通常是不规则的形状。经过识别可以得到如图6所示的视盘图像和如图7所示的视杯图像。

关于第二机器学习模型和第三机器学习模型的训练过程，本发明实施例提供一种优选的模型训练方案。具体地，在训练时手工精确地标注出视盘，然后基于人工标注的轮廓生成如图6所示填充掩图，其中白色为视盘区域，黑色为背景。最终把截取的视盘区域和对应的掩图一起输入模型进行训练，模型通过学习识别出视盘区域，把它分割出来。视杯的标注和分割的过程遵循同样的步骤。

本发明实施例可以采用现有的深度检测模型作为第二和第三机器学习模型，例如可以采用U-Net、Mask R-CNN、DeepLabV3等现有的模型，或自行设计的深度分割模型。

在本实施例中第二机器学习模型输出视盘二值图像，其中背景灰度值为0，视盘区域的灰度值为255；第三机器学习模型输出视杯二值图像，其中背景灰度值为0，视杯区域的灰度值为255。这是为了便于后续截取盘沿图像而使用的一种优选的处理方式，在其它实施例中，也可以输出与原眼底图像色彩一致的图像。

S6B，在视盘二值图像中减去视杯二值图像得到盘沿二值图像。例如在图6中的二值图像中减去图7中的二值图像，即可得到图8所示的二值图像，其中的白色环形为盘沿区域。在其他实施例中，也可以将两个灰度图像或者彩色图像相减得到相应色彩的盘沿图像。

S7B，根据盘沿二值图像在眼底图像中截取盘沿图像。图8所示的盘沿二值图像提供了截取位置和范围，据此可从原始眼底图像中或者S3B中的局部图像中截取到如图9所示的盘沿图像，此步骤是为了获得原眼底图像的色彩。

S8B，利用第四机器学习模型对盘沿图像进行识别，输出青光眼图像判断结果。在本实施例中，该模型识别的是与原始眼底图像色彩一致的盘沿图像，这可以兼顾盘沿区域的形状和色彩得到判断结果。在其它实施例中也可以直接对盘沿二值图像直接进行识别得到判断结果，只考虑盘沿形状而不考虑色彩也是可行的。

关于第四机器学习模型的训练过程，在训练时分别输入青光眼图像的盘沿区域、非青光眼图像的盘沿区域，使模型学习两者的区别，输出识别结果。输出结果可以是两类，即阴性或阳性(是或否)；也可以是百分比(概率)信息，例如是青光眼图像的概率或者不是青光眼图像的概率。

本发明实施例可以采用现有的深度检测模型作为第四机器学习模型，例如可以采用inceptionV3、ResNet等现有的模型，或自行设计的深度识别模型。

根据本发明实施例提供的青光眼图像识别方法，首先对拍摄的眼底照片进行剪裁去除干扰内容，使机器学习模型可以更准确地从较大尺寸的眼底图像中分割出以视盘为主的并且尺寸较小的局部图像；通过两个机器学习模型分别对该局部图像进行识别，可准确输出视盘区域的二值图像和视杯区域的二值图像，通过对二值图像进行相减处理可以高效且准确地获得盘沿的二值图像；基于盘沿二值图像获得与原始眼底图像色彩一致的盘沿图像，可以在最终识别过程中使机器学习模型兼顾盘沿形状和色彩特征，以提高青光眼图像判断的准确性。

相应地，本发明的一个实施例还提供了一种青光眼图像识别装置，如图10所示，该装置包括：

获取单元101，用于获取眼底图像；

区域识别单元102，用于根据所述眼底图像获得视盘图像和视杯图像；

盘沿确定单元103，用于根据所述视盘图像和所述视杯图像获得盘沿图像；

青光眼识别单元104，用于根据所述盘沿图像判断所述眼底图像是否为青光眼图像。

作为一个优选的实施方式，区域识别单元102包括：

第一机器学习模型，用于从所述眼底图像中识别出包含视盘的有效区域，视盘在所述局部图像中的占比大于视盘在所述眼底图像中的占比；

第二机器学习模型，用于从所述局部图像中识别出视盘图像；

第三机器学习模型，用于从所述局部图像中识别出视杯图像。

进一步地，所述局部图像与所述眼底图像色彩一致。所述第二机器学习模型输出视盘二值图像；所述第三机器学习模型输出视杯二值图像。

作为一个优选的实施方式，盘沿确定单元103包括：

图像剪切单元，用于使用视盘二值图像减去视杯二值图像得到盘沿二值图像。

进一步地，盘沿确定单元103还包括：

图像截取单元，用于根据所述盘沿二值图像在所述局部图像中截取盘沿图像。

作为一个优选的实施方式，青光眼识别单元104包括：

第四机器学习模型，用于对所述盘沿图像进行识别，输出青光眼图像判断结果。

本发明的一个实施例还提供了一种电子设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述实施例中的青光眼图像识别方法。

本发明的一个实施例还提供了一种青光眼疾病筛查系统，如图11所示包括：

眼底照相设备111，用于拍摄用户眼底图像；以及

青光眼图像识别设备112，用于执行上述实施例中的青光眼图像识别方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种青光眼图像识别方法，其特征在于，包括如下步骤：

获取眼底图像；

根据所述眼底图像获得视盘图像和视杯图像；

根据所述视盘图像和所述视杯图像获得盘沿图像；

利用机器学习模型对所述盘沿图像进行识别，所述机器学习模型基于盘沿形状特征和盘沿色彩特征输出青光眼图像分类结果，所述机器学习模型是预先使用青光眼图像的盘沿区域、非青光眼图像的盘沿区域进行训练过的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述眼底图像获得视盘图像和视杯图像，包括：

利用第一机器学习模型从所述眼底图像中识别出包含视盘的局部图像，视盘在所述局部图像中的占比大于视盘在所述眼底图像中的占比；

利用第二机器学习模型从所述局部图像中识别出视盘图像；

利用第三机器学习模型从所述局部图像中识别出视杯图像。

3.根据权利要求2所述的方法，其特征在于，所述局部图像与所述眼底图像色彩一致。

4.一种青光眼图像识别装置，其特征在于，包括：

获取单元，用于获取眼底图像；

区域识别单元，用于根据所述眼底图像获得视盘图像和视杯图像；

盘沿确定单元，用于根据所述视盘图像和所述视杯图像获得盘沿图像；

青光眼识别单元，用于利用机器学习模型对所述盘沿图像进行识别，所述机器学习模型基于盘沿形状特征和盘沿色彩特征输出青光眼图像判断结果，所述机器学习模型是预先使用青光眼图像的盘沿区域、非青光眼图像的盘沿区域进行训练过的神经网络模型。

5.一种青光眼图像识别设备，其特征在于，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-3中任一项所述的青光眼图像识别方法。

6.一种青光眼疾病筛查系统，其特征在于，包括：

眼底照相设备，用于拍摄眼底图像；以及

权利要求5所述的青光眼图像识别设备。

Images