CN109993731A - 一种眼底病变分析方法及装置 - Google Patents

Abstract

本发明提供了一种眼底病变分析方法，通过从眼底图像中的识别眼底病灶，并对眼底病灶进行提取和量化得到病变数据，最后根据病变数据确定眼底病变等级。利用图像处理的方法，通过提取眼底病灶能够准确的确定眼底病变的等级，并且能够得到确定最终结果的中间依据，让眼底病变的分析过程可视化，为疾病治疗提供了更多可以参考的诊断信息，同时也为未来研究眼底病变提供了更多的参考数据。

Description

一种眼底病变分析方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种图像处理眼底病变的方法、装置、电子设备及计算机可读存储介质。

背景技术

有些疾病患者的眼部常伴有并发症，而该并发症常常可以在眼底上体现。例如，糖尿病视网膜病变是糖尿病患者眼部常见并发症，简称糖网病，是一种常见的致盲疾病，是因为糖尿病导致眼底血管失调。糖网病的发生率随着糖尿病病程增加而增加，许多糖网病变的患者由于种种原因没有及时就诊，等到发现病变时往往错过黄金治疗时机，造成严重的视力损伤。

因此，针对糖网病的筛查非常重要，一方面可以帮助患者及时发现是否患病，从而采取适当的治疗措施，另一方面也可以帮助患者了解疾病的进展，从而调整治疗方法。

发明内容

有鉴于此，本发明实施例致力于提供一种眼底病变分析方法及装置，通过对眼底图像进行分析以提取眼底病灶，从而确定是否存在眼底病变以及病变的等级。

根据本发明的一方面，本发明一实施例提供的一种眼底病变分析方法，包括：提取眼底图像中的病灶图像；将所述病灶图像分类，得到不同种类病变特征图像；以及基于所述不同种类病变特征图像，确定所述眼底病变的等级。

在一实施例中，所述提取眼底图像中的病灶图像包括：删除所述眼底图像中的视盘图像和眼底血管图像；以及从删除所述视盘图像和眼底血管图像后的所述眼底图像中提取所述病灶图像。

在一实施例中，所述提取眼底图像中的病灶图像包括：基于所述病灶图像的亮度和对比度、所述病灶图像的临近图像的亮度和对比度，提取所述病灶图像。

在一实施例中，在所述提取所述病灶图像，所述方法还包括：删除所述病灶图像中的干扰特征。

在一实施例中，所述干扰特征包括以下特征中的任一种或多种的组合：影像暗影图像、神经纤维图像以及镜头污点图像。

在一实施例中，所述删除所述病灶图像中的干扰特征包括：基于颜色、纹理以及面积，提取所述干扰特征并删除。

在一实施例中，所述病变特征图像包括以下特征中的任一种或多种的组合：微血管瘤图像、出血图像、渗出图像、静脉串珠图像以及棉绒斑图像。

在一实施例中，所述基于所述不同种类病变特征图像，确定所述眼底病变的等级包括：基于所述不同种类病变特征图像的位置信息、面积信息以及数量中的任一种或多种的组合，确定所述眼底病变的等级。

在一实施例中，所述位置信息包括所述病变特征图像与黄斑中心的距离。

在一实施例中，所述面积信息包括所述病变特征图像的总面积，和/或所述病变特征中的最大面积。

在一实施例中，在所述提取眼底图像中的病灶图像之前，还包括：对所述眼底图像进行预处理，得到预处理后的眼底图像。

在一实施例中，所述对所述眼底图像进行预处理包括：对所述眼底图像进行去燥处理。

在一实施例中，所述对所述眼底图像进行预处理包括：获取所述眼底图像的清晰度；以及根据所述清晰度，对所述眼底图像进行增强处理。

在一实施例中，所述对所述眼底图像进行预处理包括：对所述眼底图像进行归一化处理。

根据本发明的另一方面，本发明一实施例提供的一种眼底病变分析装置，包括：病灶图像提取模块，用于提取眼底图像中的病灶图像；特征图像获取模块，用于将所述病灶图像分类，得到不同种类病变特征图像；以及病变等级确定模块，用于基于所述不同种类病变特征图像，确定所述眼底病变的等级。

根据本发明的另一方面，本发明一实施例提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的眼底病变分析方法。

根据本发明的另一方面，本发明一实施例提供的一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的眼底病变分析方法。

本发明实施例提供的一种眼底病变分析方法，通过提取眼底图像中的病灶图像，并基于病灶图像，得到病变特征图像，最后根据病变特征图像确定眼底病变的等级。利用图像处理的方法，通过提取病灶获取病变特征数据能够准确的确定眼底病变的等级，并且能够得到确定最终结果的中间依据，让眼底病变的分析过程可视化，为疾病治疗提供了更多可以参考的诊断信息，同时也为未来研究眼底病变提供了更多的参考数据。

附图说明

图1所示为本申请一实施例提供的眼底病变分析方法的流程图。

图2所示为本申请另一实施例提供的眼底病变分析方法的流程图。

图3所示为本申请另一实施例提供的眼底病变分析方法的流程图。

图4所示为本申请一实施例提供的眼底病变分析方法中预处理的流程图。

图5所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。

图6A所示为本申请一实例中增强前的眼底图像。

图6B所示为本申请一实例中增强后的眼底图像。

图7所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。

图8所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。

图9A所示为本申请一实例中的标准眼底图像。

图9B所示为本申请一实例中的标准眼底图像的平滑后的灰度直方图。

图9C所示为本申请一实例中的待处理的眼底图像。

图9D所示为本申请一实例中的待处理眼底图像的灰度直方图。

图9E所示为本申请一实例中的待处理眼底图像的平滑后的灰度直方图。

图9F所示为本申请一实例中的待处理眼底图像的平移后的灰度直方图。

图9G所示为本申请一实例中的处理后的眼底图像。

图10所示为本申请一实施例提供的眼底病变装置的结构示意图。

图11所示为本申请另一实施例提供的眼底病变装置的结构示意图。

图12所示为本申请另一实施例提供的眼底病变装置的结构示意图。

图13所示为本申请一实施例提供的电子设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性，而是仅仅用于对不同的元件进行区分。在本文中，术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物，而是表示有关描述仅仅针对所述事物中的一个，所述事物可能具有一个或多个。在本文中，术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系，而不能视作表示空间结构上的关系。例如，“A包括B”意在表示在逻辑上B属于A，而不表示在空间上B位于A的内部。另外，术语“包含”、“包括”和其它类似词语的含义应视为开放性的，而非封闭性的。例如，“A包括B”意在表示B属于A，但是B不一定构成A的全部，A还可能包括C、D、E等其它元素。

在本文中，术语“实施例”、“本实施例”、“一实施例”、“一个实施例”并不表示有关描述仅仅适用于一个特定的实施例，而是表示这些描述还可能适用于另外一个或多个实施例中。本领域技术人员应理解，在本文中，任何针对某一个实施例所做的描述都可以与另外一个或多个实施例中的有关描述进行替代、组合、或者以其它方式结合，所述替代、组合、或者以其它方式结合所产生的新实施例是本领域技术人员能够容易想到的，属于本发明的保护范围。

在本发明各实施例中，眼底图像是指通过通用或专用的拍摄设备拍摄眼球底部所得到的图像，其显示的内容通常包括视网膜、血管、视盘、黄斑等生理结构。眼底图像可以是模拟图像，也可以是数字图像。在本发明各实施例中，眼底图像优选为数字图像。

图1所示为本申请一实施例提供的眼底病变分析方法的流程图。如图1所示，该眼底病变分析方法包括如下步骤：

步骤110：提取眼底图像中的病灶图像。

由于眼底病变会在眼底图像中有一定的表征(即病灶的特征)，根据该表征是否存在以及存在的状态即可判断眼底病变是否存在以及病变的等级，因此，在开始分析病变时，根据需要筛查分析的疾病(例如糖网病)的特性，获知糖网病的特征信息，即患有糖网病的患者的眼底图像中一定存在的病变特征，并以此作为后续确定存在糖网病以及病变等级的初始图像数据。

在一实施例中，所述提取眼底图像中的病灶图像可包括：删除眼底图像中的视盘图像和眼底血管图像；以及从删除视盘图像和眼底血管图像后的眼底图像中提取病灶图像。

由于部分病灶与眼底图像中的正常结构之间还存在一定的相似性，因此，正常结构可能会对提取的眼底病灶产生一定的干扰。为了减少正常结构对于提取眼底图像中病灶的干扰，本申请实施例可以将眼底图像中的视盘和眼底血管等正常结构删除。将眼底图像中的视盘图像和眼底血管图像删除，从删除了视盘图像和眼底血管图像后的眼底图像中提取病灶特征图像，排除了正常结构对于提取病灶的干扰，提高了病灶提取的精确度，也为后续的病变等级判断提供了准确的初始图像数据，保证了眼底病变分析的整体准确性。

在一实施例中，所述提取眼底图像中的病灶图像可包括：基于病灶图像的亮度和对比度、病灶图像的临近图像的亮度和对比度，提取病灶图像。

由于病灶图像的亮度与非病灶区域的亮度有区别，因此，基于该亮度特征可以获取病灶的位置。眼底图像中同一类型的结构之间的对比度相对于不同类型的结构之间的对比度小，即病灶图像与非病灶区域之间的对比度较大，因此，可以根据对比度来获取病灶的边界，从而准确地提取出完整的病灶图像。

步骤120：将病灶图像分类，得到不同种类病变特征图像。

针对步骤110中提取的病灶图像，对所有提取到的病灶图像进行分类，可以得到不同种类病变特征图像，即在步骤110中提取病灶图像并且可以标注所有的病灶图像，根据病变特征，将所有的病灶图像进行分类，得到不同种类的病变特征图像，作为综合判断眼底病变及病变等级的判断依据。

在一实施例中，病变特征图像可包括以下特征中的任一种或多种的组合：微血管瘤图像、出血图像、渗出图像、静脉串珠图像以及棉绒斑图像。应当理解，本申请实施例可以根据不同的应用场景的需求(即不同疾病的筛查)而选取不同的病变特征的组合，只要所选取的病变特征的组合能够准确判断所筛查的疾病及病变等级即可，本申请对于病变特征图像的具体组合方式不做限定。

步骤130：基于不同种类病变特征图像，确定眼底病变的等级。

基于步骤120得到的病变特征图像，可以综合判断该眼底病变(如糖网病)是否存在以及病变的等级，综合眼底图像中所有种类的病变特征，可以全面且准确的确定眼底病变的等级。

在一实施例中，所述基于不同种类病变特征图像，确定眼底病变的等级可包括：基于病变特征图像的位置信息、面积信息以及数量中的任一种或多种的组合，确定眼底病变的等级。当眼底图像中出现上述病变特征图像中的一种或多种的组合时，可以判断该眼底图像对应的患者已经患有所筛查的眼底疾病。为了更加准确的确定眼底病变的等级，综合所有病变特征图像的位置信息、面积信息以及数量等信息，得到眼底病变的等级。

在一实施例中，上述位置信息可包括病变特征图像与黄斑中心的距离。由于病变特征为一区域，可以选取该区域与黄斑中心的最小距离为病变特征图像与黄斑中心的距离。其中，病变特征图像与黄斑中心的距离越大，则眼底病变的等级越低(即疾病的严重程度越低)，反之，则眼底病变的等级越高。应当理解，本申请实施例可以选取病变特征中的某一特定点与黄斑中心的距离为病变特征图像与黄斑中心的距离，本申请对于病变特征图像与黄斑中心的距离的计算方法不做限定。

在一实施例中，面积信息可包括病变特征图像的总面积，和/或病变特征中的最大面积。可以计算病变特征图像的总面积或病变特征中的最大面积，可根据病变特征图像的总面积或病变特征图像中的最大面积中的任一项来确定眼底病变的等级，也可以根据病变特征图像的总面积和病变特征图像中的最大面积的综合来确定眼底病变的等级。其中，病变特征图像的总面积越小，则眼底病变的等级越低，反之，则眼底病变的等级越高；病变特征图像中的最大面积越小，则眼底病变的等级越低，反之，则眼底病变的等级越高。

应当理解，本申请实施例可以根据不同的应用场景的需求而选取不同的病变特征的信息组合，只要所选取的病变特征的信息组合能够准确确定所筛查的疾病的病变等级即可，本申请对于病变特征图像的具体信息组合方式不做限定。

由于目前没有根据上述病变特征的相关信息对糖网病的等级划分标准，本申请根据国际上划分的等级，将上述病变特征的信息与糖网病的等级对应如下表：

通过提取眼底图像中的病灶图像，并基于病灶图像，得到病变特征图像，最后根据病变特征图像确定眼底病变的等级。利用图像处理的方法，通过提取病灶图像获取病变特征数据能够准确的确定眼底病变的等级，并且能够得到确定最终结果的中间依据，让眼底病变的分析过程可视化，为疾病治疗提供了更多可以参考的诊断信息，同时也为未来研究眼底病变提供了更多的参考数据。

图2所示为本申请另一实施例提供的眼底病变分析方法的流程图。如图2所示，在步骤110之后，上述方法还可以包括：

步骤140：删除病灶图像中的干扰特征。由于眼底图像在获取的过程中可能存在干扰信息，而该干扰信息会在拍摄时一并被采集至眼底图像中，从而形成了干扰特征，且干扰特征通常会随着病灶图像一起被提取出来，如果不对这些干扰特征进行排查，则会影响到眼底病灶的相关信息，从而影响后续判断病变等级。因此，在提取到病灶图像后，需要排查并删除干扰特征，以提高诊断的准确性。

在一实施例中，干扰特征可包括以下特征图像中的任一种或多种的组合：影像暗影图像、神经纤维图像以及镜头污点图像。应当理解，本申请实施例可以根据不同的应用场景而有针对性的排查一种或多种干扰特征，在保证诊断的准确性的同时尽量减少排查的工作量，本申请对于排查的干扰特征的具体种类不做限定。

在一实施例中，所述删除病灶图像中的干扰特征可包括：基于颜色、纹理以及面积，提取干扰特征并删除。由于上述干扰特征的颜色、纹理以及面积中的部分或全部特性与病灶特征不同，因此，可以基于这些特性的区别提取出干扰特征并将其删除，以避免干扰特征对病灶特征以及对后续诊断的干扰。

图3所示为本申请另一实施例提供的眼底病变分析方法的流程图。如图3所示，在步骤110之前，上述方法还可以包括：

步骤150：对眼底图像进行预处理，得到预处理后的眼底图像。

在采集眼底图像时，由于拍摄设备和拍摄者的拍摄技术的不同，可能会造成眼底图像的质量发生相当大幅度的变化，使得后期对眼底图像的处理和识别变得困难，因此，在提取眼底病灶之前，可以对眼底图像进行预处理，使其感兴趣特征能够在后续处理中更易于被提取和识别。

在一实施例中，对眼底图像进行预处理可包括：对眼底图像进行去燥处理。数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，这些噪声可能在传输中产生，也可能在量化等处理中产生，噪声是图象干扰的重要原因。因此，在眼底图像中提取病灶图像之前，需要将眼底图像中的噪声去除，避免噪声对后续诊断病变等级造成干扰，提高诊断病变等级的准确性。

图4所示为本申请一实施例提供的眼底病变分析方法中预处理的流程图。如图4所示，步骤150中对眼底图像进行预处理可包括如下子步骤：

步骤151：确定眼底图像的清晰度。

在一实施例中，图像的清晰度可以是指肉眼或计算机对图像细节的辨认能力的大小。在一实施例中，用于计算机自动识别和诊断的眼底图像的清晰度可以是指，计算机对眼底图像的细节(比如血管)进行读取和识别的能力或准确度。在一实施例中，图像清晰度的概念与图像的分辨率、对比度等参数存在一定的关联。在某些情况下，图像的分辨率或对比度越高，图像的清晰度可能就越高。然而，上述规律并非普遍适用。在一实施例中，清晰度作为衡量图像质量的一种标准，独立于分辨率、对比度等其它图像质量参数。

在一实施例中，确定清晰度，可以是指通过精确算法计算出图像的清晰度，可以是指通过模糊算法大致计算出图像的清晰度，还可以是指根据统计或经验数据大致估算出图像的清晰度。

在一实施例中，确定清晰度的方法可以包括：计算眼底图像中的血管的对比度；根据对比度，确定清晰度。在一实施例中，血管是指视网膜上分布的血管，是眼底图像中普遍存在的显示内容。在一实施例中，血管的对比度是指眼底图像中的血管与血管周围背景之间的反差程度。

在一实施例中，计算血管的对比度的具体方式可以是，计算血管的像素灰度值与血管周围的背景区域的像素灰度值之差，从而得出血管的对比度。在一实施例中，血管的像素灰度值是指血管上的像素点所具有的灰度值。在数字图像的情况下，像素的灰度值通常在0至255的范围内变动。在一实施例中，血管周围的背景区域可以是指，紧邻血管的视网膜区域上的像素点的灰度值。

在一实施例中，还可以采用其他方式计算血管的对比度。例如，可以通过计算血管的像素灰度值与血管周围的背景区域的像素灰度值之比，来得出血管的对比度；也可以通过计算血管的像素灰度值的对数与血管周围的背景区域的像素灰度值的对数之比，来得出血管的对比度。其它计算方式也是可以想到的。

在一实施例中，根据血管的对比度确定清晰度，可以是指直接采用计算出的对比度的数值作为清晰度的数值，可以是指采用数学变换后的对比度的数值作为清晰度的数值，还可以是指将对比度作为一个参数，与预先或临时确定的其它参数一起计算得出其清晰度的数值。

在一实施例中，根据对比度确定清晰度的具体方式可以是，将对比度的数值归一到[0,1]的区间内，以此作为清晰度的数值。在一实施例中，归一是指将不同大小的数值限制在某一个数值范围内，而不影响这些数值之间的相对大小关系。在一实施例中，可以按公式(x-min)/(max-min)进行归一，其中x为对比度，max和min分别代表眼底图像中的像素灰度值的最大值和最小值。对于像素灰度值在[0,255]区间内的情况，max为255，min为0。在另一实施例中，可以按公式lg(x-min)/lg(max-min)进行归一，其中x为对比度，lg表示以10为底的对数，max和min的含义如上文所述。其它归一方式也是可以想到的。

在一实施例中，还可以通过其它方法确定图像的清晰度。例如，可以根据除血管以外的其它图示结构(比如视盘、黄斑等)的对比度计算清晰度，可以根据预先识别出的血管的总长度计算清晰度，还可以根据分辨率、对比度、其它图像参数或其组合来计算出图像的清晰度。

步骤152：根据清晰度，确定用于增强眼底图像的倍数。

在一实施例中，用于增强眼底图像的倍数是指一个与增强的强度和效果有关的参数。在一实施例中，倍数是指在后续的图像乘法运算中与图像相乘的数值。在一实施例中，确定倍数的方式，可以是计算，例如以清晰度的数值作为一个参数，计算得出倍数；也可以是选取，例如根据清晰度的数值所在的范围，选取相应的倍数。

在一实施例中，根据清晰度确定倍数，可以是指，考虑到图像清晰度的不同，合理确定图像增强的强度和参数。在一实施例中，如果倍数越大，增强的效果越好，那么在清晰度较高时，倍数总体上应当较小，反之应当较大。在一实施例中，根据清晰度确定倍数，其作用是使图像增强具有自适应的效果，对较清晰的图像采用较小的增强力度，对较模糊的图像采用较大的增强力度。这样一来，增强后的图像的质量较为统一，使得后续对眼底图像进行识别和诊断的结果具有一致性。

在一优选实施例中，根据清晰度确定倍数的具体方式可以是，按m＝3-n计算所述倍数，其中倍数为m，清晰度的数值为n∈[0,1]。这种计算方式可以将倍数限制在2至3的范围内，从而能够确保，当图像细节的灰度值与其背景的灰度值之差达到5(灰度值∈[0,255])以上时，该图像细节可以得到显著增强，并且在后续识别时可以被自动提取或识别。优选采用这种计算方式，是因为本申请的发明人发现，如果倍数高于3倍，图像会产生一定程度的噪声，影响识别精度；如果倍数低于2倍，增强的效果会减弱，可能会造成图像细节的遗失。

在一实施例中，根据清晰度确定倍数，还可以采用其他方式。例如，使清晰度与倍数成负相关关系的所有数学计算方式，包括使清晰度与倍数之积为一个常数，使清晰度与倍数之和为一个常数(除3以外)，使清晰度与倍数的平方和为一个常数，等等。再例如，还可以将倍数设置成梯度变化的，使一个倍数对应一个清晰度的区间，较大的清晰度区间对应较小的倍数。

步骤153：对眼底图像进行平滑处理，得到平滑图像。

在一实施例中，平滑处理可以是指，使图像的细节变得模糊、图像中的结构的边缘变得平滑、或者图像中的噪点被消除的图像处理方式。在一实施例中，平滑之后所得到的图像称为平滑图像。

在一实施例中，平滑处理的方式可以包括低通滤波、局部平均(均值滤波)、统计排序滤波、多图像平均等。在一实施例中，低通滤波可以是指保留图像的低频成分，去除图像的高频成分的处理技术。在一实施例中，局部平均可以是指，将计算每个像素点周围邻域内的灰度值的平均数，用该平均数代替该像素点原来的灰度值。在一实施例中，统计排序滤波可以是指，对每个像素点周围邻域内的像素点进行灰度值排序，选取某个顺位上的灰度值，用以代替该像素点原来的灰度值。统计排序滤波包括中值滤波、最大值滤波和最小值滤波等。在一实施例中，多图像平均可以是指，在相同条件下对同一物体拍摄多张图像，将这些图像相加之后平均，得到平滑后的图像。

在一优选实施例中，平滑处理采用统计排序滤波，特别是中值滤波。中值滤波平滑后的图像能够很好地将眼底图像中的感兴趣区域模糊掉，进而能够在后续增强中凸显出感兴趣的区域或结构。

步骤154：对平滑图像与眼底图像做图像减法运算，得到差值图像。

在一实施例中，图像减法运算可以是指，使一个图像中的每个像素的灰度值减去另一个图像中的对应像素的灰度值的计算方法。一般情况下，相减的两幅图像的尺寸应该完全相同。在一实施例中，差值图像可以是指经过图像减法运算之后所获得的图像，该图像中的每个像素点的灰度值都是两幅相减图像的相应像素点的灰度值之差。在一实施例中，对两幅图像做图像减法运算或做差，可以在得到的差值图像中凸显出两幅图像之间不一致的地方。

步骤155：对差值图像与倍数做图像乘法运算，以用于眼底图像识别。

在一实施例中，图像乘法运算可以是指，使一个图像中的每个像素的灰度值都乘以一个系数或另一个图像中的对应像素的灰度值。当乘以系数时，这种图像乘法运算也可以称为图像与数值的乘法运算，可以用来增强图像的对比度或视觉反差。当乘以另一个图像的像素灰度值时，这种图像乘法运算也可以称为图像与图像的乘法运算，可以用来抠图。在一实施例中，经过图像乘法运算所得到的图像称为积值图像。

在一实施例中，根据本发明实施例的方法还可以包括附加步骤：将经过图像乘法运算的眼底图像的背景的亮度调整成预定值。

在一实施例中，眼底图像的背景可以是指感兴趣区域以外的其它区域。在一实施例中，亮度可以指眼底图像的颜色模型中的亮度通道上的灰度值，例如LAB颜色模型中的L通道上的灰度值，也可以指眼底图像的颜色模型中与亮度有关的通道上的灰度值，例如RGB(红绿蓝)颜色模型中的R通道、G通道和B通道上的灰度值。在一实施例中，所述预定值可以是能够使图像背景反衬或凸显出图像的感兴趣区域的任意值。在一优选实施例中，所述预定值可以是100(像素灰度值∈[0,255])。

图5所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。如图5所示，步骤150中对眼底图像进行预处理可包括如下子步骤：

步骤151：确定眼底图像的清晰度。

步骤152：根据清晰度，确定用于增强眼底图像的倍数。

关于151的152的细节，请分别参见上文实施例所描述的151和152的内容，这里不再赘述。

步骤156：确定平滑处理的最大尺度和最小尺度。

在一实施例中，平滑处理的尺度可以是指，平滑处理所能模糊或显著影响的图像细节或结构的大小或像素数。在采用局部平均或统计排序滤波进行平滑处理的实施例中，尺度可以是指滤波器的大小。在一实施例中，滤波器可以是指滤波处理所采用的窗口或邻域，即对一个像素点进行滤波计算时所要考虑的其它像素点的范围。滤波器可以是任意形状的，包括圆形、方形、菱形等。对于圆形滤波器而言，滤波尺度可以指其直径所占的像素数。对于方形和菱形滤波器而言，滤波尺度可以指其边长所占的像素数。例如，对于3×3的方形滤波器而言，其滤波尺度就是3个像素。在采用多图像平均或低通滤波等其它方式进行平滑处理的实施例中，尺度可以是指这种平滑能够模糊或显著改变的图像细节或结构的大小。

在一实施例中，最大尺度可以是指平滑之后被模糊或发生显著变形的所有图示结构中的最大结构的大小。在一实施例中，最大尺度最大应不至于使图像显示内容完全失真或发生严重扭曲，导致无法辨认出任何感兴趣的内容。在一实施例中，最大尺度最小应能覆盖最大的感兴趣内容或结构的尺寸。

在一实施例中，确定最大尺度的方法可以是，根据眼底图像中的病灶区域的直径，得出最大尺度。在一实施例中，病灶区域的直径可以是指病灶区域的内切圆的直径、病灶区域的外接圆的直径、根据病灶区域轮廓拟合的圆形的直径、或者其它方式测量的病灶区域的直径。

在一实施例中，根据病灶区域的直径得出最大尺度的具体方法可以包括：识别眼底图像中的病灶区域；从识别出的病灶区域中确定最大病灶区域；计算最大病灶区域的直径所占的像素数；以所述像素数作为最大尺度。在一实施例中，识别病灶区域的方法可以是，筛选出眼底图像中亮度显著偏亮或偏暗的区域。病灶区域通常是亮度发生显著变化的区域，通过计算亮度异常的区域的大小即可近似得出病灶区域的直径。在一实施例中，计算得出的最大尺度不应超过图像尺度的1/3。如果得出超过1/3的最大尺度，应直接以图像尺度的1/3的像素数作为最大尺度。当平滑处理(特别是中值滤波)的尺度超过1/3时，图像内容可能会发生扭曲和变形，导致辨识感兴趣结构或细节变得困难。在一实施例中，图像尺寸可以是指图像的长或宽、图像的对角线长度、或其它体现图像大小的参数。

在一实施例中，根据病灶区域的直径得出最大尺度，还可以通过其它方法实现。例如，可以预先估计或统计病灶区域的大小，从而确定其直径；还可以从多个病灶区域中选取的中间或最小的病灶区域，作为确定直径的依据。其它方法也是可以想到的。

在一实施例中，最小尺度可以指平滑之后被模糊或被发生显著变形的所有图示结构中的最小结构的大小。在一实施例中，最小尺度最大不应超过最小的感兴趣内容或结构的尺寸。在一实施例中，最小尺度最小最小应大于一般噪点的尺寸。

在一实施例中，确定最小尺度的方法可以是，根据眼底图像中的血管的直径，得出最小尺度。在一实施例中，根据血管直径确定最小尺度，可以是指直接采用血管直径所占像素数作为最小尺度，也可以是指采用血管直径的某个倍数的像素数作为最小尺度，还可以是指以血管直径作为参数计算得出最小尺度。

在一实施例中，根据血管直径得出最小尺度的具体方法可以包括：统计多张参考眼底图像中的血管直径与图像尺寸之间的比值的平均值；根据平均值，计算眼底图像中的血管的直径所占的像素数；以所述像素数的两倍作为最小尺度。在一实施例中，参考眼底图像是指拍摄条件和显示内容与待增强的眼底图像大致相似的其它眼底图像，能够作为处理当前眼底图像时的参照和基准。在一实施例中，所述比值的平均值在1/85至1/65的范围内，优选为1/74，这是本申请发明人在大量实践中总结得出的数据。在一实施例中，以血管直径像素数的两倍作为最小尺度，对细小的血管部分的增强效果是较佳的。在一实施例中，根据血管直径得出最小尺度，还可以采用其它方法实现。例如，先通过计算机识别出血管，再根据识别出的血管的直径确定最小尺度。

在一实施例中，确定最大尺度和最小尺度，还可以根据后续处理中所要识别和提取的内容或结构的不同，还可以采取其它方法。例如，以黄斑的直径为最大尺度，以噪点平均尺寸的两倍为最小尺度。

步骤157：从最大尺度到最小尺度依次递减，对眼底图像进行多次平滑处理，得到多张平滑图像。

在一实施例中，递减可以指按照一定的间隔递减。例如，按照40个灰度值进行递减，每超过40个灰度值增加一次平滑处理。如果最大尺度与最小尺度之差小于40灰度值，可以只增强一次。在一实施例中，递减也可以指按照一定的次数递减。例如，以最大尺度与最小尺度之差的1/3为间隔，从最大尺度到最小尺度一共进行4次平滑处理。在一实施例中，还可以按照其他方式进行递减，例如按照非均匀的间隔进行递减，从而进行多次平滑。

步骤158：对所述多张平滑图像眼底图像与眼底图像分别做图像减法运算，得到多张差值图像。

在一实施例中，分别做图像减法运算可以是指，多张平滑图像中的每张均与原始的眼底图像相减，每次得到一张差值图像，总共得到与平滑图像数量相等的差值图像。

步骤159：对所述多张差值图像与倍数分别做图像乘法运算，得到多张积值图像。

在一实施例中，分别做图像乘法运算可以是指，多张差值图像中的每张均与倍数相乘，每次得到一张积值图像，总共得到与差值图像数量相等的积值图像。

步骤1510：通过主成分分析合并所述多张积值图像。

在一实施例中，主成分分析可以是指，通过降维技术将多个变量转化为少数几个主要成分或综合变量的统计分析方法。在一实施例中，每张积值图像都可以看作是主成分分析的一个变量。通过降维算法，将多张图像合并为一张图像的过程就是主成分分析的过程。

以下结合图6A和6B详细说明根据本发明的增强眼底图像的方法的一个实例。

在本实例中，待处理的眼底图像的尺寸为800×800像素，如图6A所示。

首先，识别出血管，计算得出血管的像素灰度值为130，血管周围背景的像素灰度值为80。在本实例中，像素灰度值在0至255范围内变动。

然后，将血管的灰度值减去背景的灰度值，得到对比度为50。通过公式(x-min)/(max-min)，将对比度归一到0至1的区间，约为0.2。

然后，按照m＝3-n的公式(其中m为倍数，n为归一后的对比度)，计算得到倍数为2.8。

接下来，确定最大尺度和最小尺度，具体方法是：识别出病灶区域，计算得出最大病灶区域的直径为100个像素，从而得出滤波器的最大尺度为100个像素；预先统计出血管尺寸占图像尺寸的比值为1/74；根据1/74的比值，确定血管直径为11个像素，从而得出滤波器的最小尺度为22个像素。

然后，以40个像素为间隔，分别按100个像素、60个像素、22个像素的滤波尺度，做三次中值滤波，得到三张滤波后的眼底图像。

然后，三张眼底图像与原始的眼底图像分别做图像减法运算，得到三张差值图像。

然后，三张差值图像分别做图像乘法运算，乘以2.8的倍数，得到三张积值图像。

最后，通过主成分分析，合并三张积值图像，得到最终增强的眼底图像，如图6B所示。

图7所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。如图7所示，步骤150中对眼底图像进行预处理可包括如下子步骤：

步骤1511：根据标准眼底图像的灰度直方图，拟合具有第一特征值的第一正态分布函数。

在一实施例中，标准眼底图像是操作人员选取的图像质量较好、具有一定参考价值的眼底图像。标准眼底图像的颜色、亮度、曝光等图像特性均呈理想状态或接近理想状态。

在一实施例中，灰度直方图可以是整个眼底图像的灰度直方图，也可以是眼底图像的某一通道上的灰度直方图。例如，当眼底图像为黑白图像或灰度图像时，灰度直方图可以是体现整个图像的灰度分布的灰度直方图；当眼底图像为彩色图像时，灰度直方图既可以是去除色彩信息后的整个图像的灰度分布的灰度直方图，也可以是该彩色眼底图像所采用的颜色模型中的某一通道上的灰度直方图。所述颜色模型是用于准确表示任意色彩的一系列参数或分量的组合，经常使用的颜色模型包括RGB(红绿蓝)颜色模型、CMYK(青品黄黑)颜色模型等。所述通道是指颜色模型中用于表示色彩的某一参数或分量，比如RGB颜色模型中的R(红)通道、G(绿)通道、B(蓝)通道。

在一实施例中，正态分布函数是一种自然界中广泛存在的随机概率分布函数，其表达式例如为：

其中x为变量，e为自然底数，π为圆周率，μ为变量x的平均值或期望，σ为变量x的标准差。变量x的方差为σ²。在一实施例中，特征值可以是均值、标准差、方差、其它值、或其组合。

在一实施例中，对于包含亮度通道的颜色模型而言，其亮度通道上的特征值可以仅为均值。在整幅眼底图像中，亮度变化通常不大，亮度分布的波动较小，仅使亮度分布的均值归于统一即可满足后续处理的要求。所述亮度通道例如为XYZ颜色模型中的Y通道、HSI(色调-饱和度-亮度)颜色模型中的I(亮度)通道、HSV(色调-饱和度-明度)颜色模型中的V(明度)通道、LAB颜色模型中的L通道、或者YUV颜色模型中的Y通道。

在一优选实施例中，眼底图像均采用LAB颜色模型，因为该颜色模型更加符合人眼对色彩的感觉，颜色变化空间相对较大，能够更加准确地描述图像色彩。采用LAB颜色模型进行归一化能够取得较佳的效果。当采用LAB颜色模型时，对于L通道的灰度直方图，拟合的正态分布函数的特征值可以是均值，对于A通道和B通道的灰度直方图，拟合的正态分布函数的特征值可以包括均值和方差。

在一实施例中，拟合是指构造一条函数曲线，使其尽量经过或逼近灰度直方图的所有条柱的顶点。拟合的数学方法有最小二乘法、插值法等。在一实施例中，拟合可以是直接用拟合算法进行拟合，也可以是先对眼底图像的灰度直方图进行平滑处理，再对平滑后的直方图进行函数拟合。在拟合之前先对灰度直方图进行平滑处理，有利于提高后续拟合的精确性，使得拟合出的函数图像更符合灰度直方图的总体变化趋势。在一实施例中，所述平滑处理例如采用高斯平滑、多项式平滑、直线平滑、或者其它平滑算法。

步骤1512：根据眼底图像的灰度直方图，拟合具有第二特征值的第二正态分布函数。

步骤1512与步骤1511总体上类似，区别在于步骤1511处理的对象是标准眼底图像，而步骤1512处理的对象是待处理的眼底图像。因此，步骤1512中产生的第二正态分布函数与步骤1511中的第一正态分布函数应当不同，步骤1512中产生的第二特征值与步骤1511中产生的第一特征值应当不同。在一实施例中，通过步骤1511和步骤1512中的函数拟合操作，能够得到准确反映图像质量特征的参数值(即第一特征值和第二特征值)，从而为后续的调整提供基础。如上所述，眼底图像的灰度直方图大致符合正态分布。因此，选用正态分布函数进行拟合，能够提取到更符合眼底图像本身特性的质量特征参数，使得下一步对眼底图像的调整更为精确有效。

步骤1513：根据第一特征值与第二特征值之差，调整眼底图像的灰度直方图。

得到第一特征值和第二特征值之后，容易求得其差值。根据该差值调整待处理眼底图像的灰度直方图，可以是指，使得待处理眼底图像的第二特征值与标准眼底图像的第一特征值相等，也可以是指，使得待处理眼底图像的第二特征值更加接近标准眼底图像的第一特征值。后者例如可以是，使得第二特征值与第一特征值之间的差值在一较小的固定范围内，或者按一定比例缩小第二特征值与第一特征值之间的差值。调整的数学方式可以是线性的，也可以是非线性的。采用线性方式调整眼底图像的灰度直方图更加有利，因为这样可以尽量减少调整对图像内容所造成的影响，避免降低后续对眼底图像中的生理结构进行识别的准确性。

图8所示为本申请另一实施例提供的眼底病变分析方法中预处理的流程图。如图8所示，上一实施例中的步骤150中对眼底图像进行预处理还可包括如下子步骤：

步骤1514：根据眼底图像的亮度通道上的灰度分布，拟合二次曲面。

在一实施例中，亮度通道是指颜色模型中的仅用于表示图像亮度的通道，例如XYZ颜色模型中的Y通道、HSI颜色模型中的I通道、HSV颜色模型中的V通道、LAB颜色模型中的L通道、或者YUV颜色模型中的Y通道等。

在一实施例中，灰度分布是指像素点所具有的灰度值在整个图像平面上的分布情况，其统计方式可以是三维灰度分布图。在三维灰度分布图中，x轴和y轴对应于像素点在图像平面中的位置，z轴对应于像素点的灰度值。当然，其它能够体现或统计待处理眼底图像的灰度分布的图形或方法也是可以想到的。

在一实施例中，拟合二次曲面，可以是指构造一个二次曲面，使其尽可能经过眼底图像的三维灰度分布图上的所有点。在一实施例中，所述二次曲面可以是具有圆形轮廓的二次曲面，例如球面、椭球面、抛物面等，从而使得拟合出的二次曲面形状更加符合眼球或眼底图像的形状和轮廓。

步骤1515：根据所述二次曲面，对眼底图像的亮度通道上的灰度分布进行补偿。

在一实施例中，补偿可以指对眼底图像的灰度分布中与拟合出的二次曲面存在差别或存在较大差别的地方进行调整，使其符合或更接近所述二次曲面。

在一实施例中，步骤1514和步骤1515的作用在于调整眼底图像的曝光分布，使过亮或过暗的地方得到调整，使得各幅眼底图像的曝光分布趋于均匀和统一。在一实施例中，曝光分布原指拍摄照片时底片上的感光程度的分布情况；在数字图像的情况下，曝光分布可以看作亮度通道上的灰度值的分布，或者与亮度有关的颜色通道上的灰度值的分布。

以下结合图9A-9G，通过一个具体实例详细描述本实施例的方法在实际操作中的典型流程。

本实例中的所有眼底图像均采用LAB颜色模型。

首先，选取一幅高质量的眼底图像作为标准眼底图像，如图9A所示。统计该标准眼底图像的L通道的灰度直方图(未示出)。然后，对统计出的灰度直方图进行高斯平滑，使该灰度直方图的各个条柱的顶点连接成一条平滑的高斯曲线，如图9B所示。

然后，对经过高斯平滑的灰度直方图进行函数拟合，得到一个正态分布函数，并求得该正态分布函数的均值为148(假定所有像素的灰度值均在0至255的范围内变动)。

接下来，针对待处理的眼底图像(如图9C所示)，以类似方式统计其L通道的灰度直方图，得到如图9D所示的图象。同样地，对该灰度直方图进行高斯平滑，使其成为符合高斯曲线的灰度直方图，如图9E所示。

然后，对图9E的灰度直方图进行函数拟合，得到另一个正态分布函数，求得该正态分布函数的均值为193。

容易求得，两个均值之差为45。

根据所得到的差值，将待处理眼底图像的灰度直方图向左线性平移45个单位，如图9F所示。由此，得到处理后的眼底图像，如图9G所示。可以看出，图9G所示的眼底图像的质量，相较于图9C所示的原图，已经更加接近于图9A所示的标准眼底图像的质量。

图10所示为本申请一实施例提供的眼底病变装置的结构示意图。如图10所示，该眼底病变分析装置包括：病灶图像提取模块21，用于提取眼底图像中的病灶图像；特征图像获取模块22，用于将病灶图像分类，得到不同种类病变特征图像；以及病变等级确定模块23，用于基于不同种类病变特征图像，确定眼底病变的等级。

通过提取眼底图像中的病灶图像，并基于病灶图像，得到病变特征图像，最后根据病变特征图像确定眼底病变的等级。利用图像处理的方法，通过提取眼底病灶特征获取病变数据能够准确的确定眼底病变的等级，并且能够得到确定最终结果的中间依据，让眼底病变的分析过程可视化，为疾病治疗提供了更多可以参考的诊断信息，同时也为未来研究眼底病变提供了更多的参考数据。

在一实施例中，病灶图像提取模块21可配置为：删除眼底图像中的视盘图像和眼底血管图像；以及从删除视盘图像和眼底血管图像后的眼底图像中提取病灶图像。

在一实施例中，病灶图像提取模块21可配置为：基于病灶图像的亮度和对比度、病灶图像的临近图像的亮度和对比度，提取眼底病灶图像。

在一实施例中，病变等级确定模块23可配置为：基于病变特征图像的位置信息、面积信息以及数量中的任一种或多种的组合，确定眼底病变的等级。

图11所示为本申请另一实施例提供的眼底病变装置的结构示意图。如图11所示，该眼底病变分析装置还可包括：干扰特征删除模块24，用于删除病灶图像中的干扰特征。在提取到病灶图像后，需要排查并删除干扰特征，以提高诊断的准确性。

在一实施例中，干扰特征删除模块24可配置为：基于颜色、纹理以及面积，提取干扰特征并删除。

图12所示为本申请另一实施例提供的眼底病变装置的结构示意图。如图12所示，该眼底病变分析装置还可包括：预处理模块25，用于对眼底图像进行预处理，得到预处理后的眼底图像。在提取病灶图像之前，可以对眼底图像进行预处理，使其感兴趣特征能够在后续处理中更易于被提取和识别。

在一实施例中，预处理模块25可配置为：对眼底图像进行去燥处理。

在一实施例中，预处理模块25可配置为：对眼底图像进行增强处理。具体的实现方式详见图4和图5所示实施例，此处不再赘述。

在一实施例中，预处理模块25可配置为：对眼底图像进行归一化处理。具体的实现方式详见图7和图8所示实施例，此处不再赘述。

下面，参考图13来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图13图示了根据本申请实施例的电子设备的框图。

如图13所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的眼底病变分析方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的摄像头，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图13中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的眼底病变分析方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的眼底病变分析方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种眼底病变分析方法，包括：

提取眼底图像中的病灶图像；

将所述病灶图像进行分类，得到不同种类病变特征图像；以及

基于所述不同种类病变特征图像，确定所述眼底病变的等级。

2.根据权利要求1所述的方法，其中，所述提取眼底图像中的病灶图像包括：

删除所述眼底图像中的视盘图像和眼底血管图像；以及

从删除所述视盘图像和眼底血管图像后的所述眼底图像中提取所述病灶图像。

3.根据权利要求1所述的方法，其中，所述提取眼底图像中的病灶图像包括：

基于所述病灶图像在图像上呈现的亮度和对比度、所述病灶图像的临近图像的亮度和对比度，提取所述病灶图像。

4.根据权利要求3所述的方法，其中，在所述提取所述病灶图像之后，还包括：

删除所述病灶图像中的干扰特征。

5.根据权利要求1所述的方法，其中，所述基于所述不同种类病变特征图像，确定所述眼底病变的等级包括：

基于所述不同种类病变特征图像的位置信息、面积信息以及数量中的任一种或多种的组合，确定所述眼底病变的等级。

6.根据权利要求1所述的方法，其中，在所述提取眼底图像中的病灶图像之前，还包括：

对所述眼底图像进行预处理，得到预处理后的眼底图像。

7.根据权利要求6所述的方法，其中，所述对所述眼底图像进行预处理包括：

对所述眼底图像进行去燥处理。

8.根据权利要求6所述的方法，其中，所述对所述眼底图像进行预处理包括：

获取所述眼底图像的清晰度；以及

根据所述清晰度，对所述眼底图像进行增强处理。

9.根据权利要求6所述的方法，其中，所述对所述眼底图像进行预处理包括：

对所述眼底图像进行归一化处理。

10.一种眼底病变分析装置，包括：

病灶图像提取模块，用于提取眼底图像中的病灶图像；

特征图像获取模块，用于将所述病灶图像分类，得到不同种类病变特征图像；以及

病变等级确定模块，用于基于所述不同种类病变特征图像，确定所述眼底病变的等级。