CN115984206A - 图像分类方法、装置和电子设备 - Google Patents

Abstract

本申请提出一种图像分类方法、装置和电子设备，能够从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型，若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，实现了快速准确地按照视网膜动脉堵塞的不同类型以及对视功能的不同影响程度自动对眼底图像进行分类的目的。

Description

图像分类方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像分类方法、装置和电子设备。

背景技术

当视网膜动脉的灌注不能满足视网膜内层的代谢需要时，视网膜会产生急性缺血型病变，即视网膜动脉堵塞，影响视功能。现有技术中，人们通过对眼底图像进行分析，探究视网膜动脉堵塞的致病机理，制定更加科学有效的治疗视网膜动脉堵塞的方式。

针对相同类型、对视功能影响程度相近的视网膜动脉堵塞的眼底图像进行分析，才能得到更加准确的分析结果。因此，在获取到作为分析样本的眼底图像对视网膜动脉堵塞进行分析之前，需要按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度对眼底图像进行分类。而如何快速准确地按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度对眼底图像进行分类，是本领域技术人员亟待解决的技术问题。

发明内容

基于上述需求，本申请提出一种图像分类方法、装置和电子设备，该方法能够快速准确地按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度对眼底图像进行分类。

本申请提出的技术方案具体如下：

一方面，本申请提供了一种图像分类方法，包括：

从待分类眼底图像中提取所述待分类眼底图像的图像特征；

基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型；所述视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种；

若所述待分类眼底图像所属的视网膜动脉堵塞类型为所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞，则基于所述待分类眼底图像的图像特征，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

进一步的，以上所述的图像分类方法中，所述从待分类眼底图像中提取所述待分类眼底图像的图像特征，基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型，包括：

将所述待分类眼底图像输入到预先训练的视网膜动脉堵塞分类模型中，以使所述视网膜动脉堵塞分类模型从待分类眼底图像中提取所述待分类眼底图像的图像特征，基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型。

进一步的，以上所述的图像分类方法中，所述基于所述待分类眼底图像的图像特征.确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

基于所述待分类眼底图像的图像特征,确定所述待分类眼底图像的病灶区域；

根据所述病灶区域，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

进一步的，以上所述的图像分类方法中，所述基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像的病灶区域，包括：

基于所述待分类眼底图像的图像特征，生成所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图；

从所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图中确定所述待分类眼底图像的病灶区域。

进一步的，以上所述的图像分类方法中，所述基于所述待分类眼底图像的图像特征，生成所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图，包括：

根据预先训练的视网膜动脉堵塞分类模型输出的分类结果进行反向传播，得到所述视网膜动脉堵塞分类模型中最后一个卷积层的每个通道特征图相对于所述分类结果的梯度值；

计算所述梯度值与对应的通道特征图的乘积，得到类热力图；

通过激活函数对所述类热力图进行激活处理，将激活处理后的类热力图与所述待分类眼底图像叠加，得到所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图。

进一步的，以上所述的图像分类方法中，所述将激活处理后的类热力图与所述待分类眼底图像叠加，包括：

将激活处理后的类热力图上采样至尺寸与所述待分类眼底图像的尺寸相同后再与所述待分类眼底图像叠加。

进一步的，以上所述的图像分类方法中，所述根据所述病灶区域，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

根据所述病灶区域的位置和面积，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

进一步的，以上所述的图像分类方法中，所述根据所述病灶区域的位置和面积，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

所述病灶区域的位置与所述待分类眼底图像中的黄斑的位置之间距离与所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度为反比关系；所述病灶区域的面积与所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度为正比关系。

另一方面，本申请还提供了一种图像分类装置，包括：

提取模块，用于从待分类眼底图像中提取所述待分类眼底图像的图像特征；

第一确定模块，用于基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型；所述视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种；

第二确定模块，用于若所述待分类眼底图像所属的视网膜动脉堵塞类型为所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞，则基于所述待分类眼底图像的图像特征，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

另一方面，本申请还提供了一种电子设备，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现以上任意一项所述的方法。

本申请提出的图像分类方法，能够从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型，若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，实现了快速准确地按照视网膜动脉堵塞的不同类型以及对视功能的不同影响程度自动对眼底图像进行分类的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种图像分类方法的流程示意图。

图2是本申请实施例提供的视网膜中央动脉堵塞的眼底图像。

图3是本申请实施例提供的视网膜分支动脉堵塞的眼底图像。

图4是本申请实施例提供的确定对视功能影响程度的流程示意图。

图5是本申请实施例提供的一种图像分类装置的结构示意图。

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

申请概述

本申请实施例技术方案适用于对眼底图像进行分类的应用场景，采用本申请实施例技术方案，能够按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度自动对眼底图像进行分类。

视网膜动脉堵塞高发于中老年人群，特别是伴有高血压、糖尿病、高血脂以及高同型半胱氨酸等有动脉硬化危险因素的群体。而生活不规律，具有抽烟的年轻人群也易发视网膜动脉堵塞。

视网膜动脉堵塞是较为危险的疾病。由于视网膜动脉是供应视网膜营养的血管，一旦视网膜动脉堵塞就会导致视网膜发生缺血缺氧性改变，时间过久会造成视网膜坏死或视神经萎缩，视力无法恢复正常。因此，如果在诊疗过程中能够及时确定病患为视网膜动脉堵塞以及视网膜动脉的具体堵塞类型，并采取针对该堵塞类型的治疗手段，能够避免因治疗不及时导致病患病情进一步恶化，错过最佳治疗时间，进而使病患的视力得以恢复。

现有技术中，为了探究视网膜动脉堵塞的致病机理，制定更加科学有效的治疗视网膜动脉堵塞的方式.目前采取的方式包括召集大量的志愿者，采集志愿者的眼底图像作为分析样本，通过对分析样本进行分析，实现上述探究视网膜动脉堵塞的致病机理，制定更加科学有效的治疗视网膜动脉堵塞的方式的目的。

针对相同类型、对视功能影响程度相近的视网膜动脉堵塞的眼底图像进行分析，才能得到更加准确的分析结果。因此，在获取到分析样本对视网膜动脉堵塞进行分析之前，需要按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度对分析样本进行分类。现有技术中，是由专业的医护人员对分析样本进行分类，不仅对分类人员的专业能力要求较高，而且分类速度慢。

基于此，本申请提出一种图像分类方法、装置和电子设备，该技术方案能够根据眼底图像的图像特征自动确定眼底图像的视网膜动脉堵塞类型以及该视网膜动脉堵塞类型对视功能的影响程度，实现自动对眼底图像进行分类的目的。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性方法

本申请实施例提出一种图像分类方法，该方法可以由电子设备执行，该电子设备可以是任意的具有数据及指令处理功能的设备，例如可以是计算机、智能终端、服务器等。参见图1所示，该方法包括：

S101、从待分类眼底图像中提取待分类眼底图像的图像特征。

眼底是眼球后部组织的统称，包括视盘、黄斑、血管等结构，通过眼底照相机、光学相干断层扫描仪或者荧光造影机对眼底进行拍照所获取的图像叫做眼底图像。通过眼底图像，医生能够看清眼底的组织结构，分析是否存在异常，最后根据详细的筛查与诊断给出具体的治疗方案。

本申请的实施例中，在得到眼底图像后，可以先对眼底图像进行预处理操作，得到预处理之后的待分类眼底图像。预处理操作包括感兴趣区域提取操作、去噪处理操作、归一化处理操作和增强处理操作中的至少一种。

感兴趣区域(Region of Interest，ROI)提取即提取眼底图像中的有效区域，去除背景等无效区域，减少非眼底区域的干扰。可以首先将彩色的眼底图像进行通道分离，其中背景区域在红色通道呈现暗色，利用阈值分割方法对红色通道图像进行分割，利用暗色区域的平均灰度值以及暗色区域的面积占比来获得ROI候选区域，之后利用图像的形态学特征和位置特征对ROI候选区域进行筛选，获得最终的ROI区域。

去噪处理操作是为了减少拍摄和相机成像过程中噪声干扰，通过低通滤波法实现，将图像从空间域转为频率域，去除低频部分，从而达到去燥的目的。

归一化处理操作通过均值校准，将每一幅图像的颜色、亮度、尺寸都调整到统一的范围，从而降低图像间的差异性，减少亮度和颜色的偏差。其中亮度归一化是将颜色空间转换至LAB空间，通过对L空间进行均值校准后，再转回RGB空间，从而实现亮度归一化。尺寸归一化是将图像进行尺寸归一化至384×384。

增强处理操作是在ROI区域内，使用限制对比度的自适应直方图均衡(CLAHE)算法对图像进行增强处理，该算法将图像分成不同小块，在各小块上进行灰度限制的增强处理，并在相邻小块之间做灰度插值，以消除小块边界之间的灰度差异。

示例性地，可以先进行去噪处理操作，得到去噪后的眼底图像，然后对去噪后的眼底图像进行归一化处理操作，得到归一化后的眼底图像，然后对归一化后的眼底图像进行增强处理操作，得到增强后的眼底图像。也可以只对眼底图像进行去噪处理操作，或者归一化处理操作，或者增强处理操作，即以上几种预处理操作可以根据实际需求进行选择，本申请不做具体限定。

本实施例中，获取到待分类眼底图像后，对待分类眼底图像进行特征提取。示例性的，可以预先训练特征提取模型，从待分类眼底图像中提取待分类眼底图像的图像特征。

特征提取模型的训练过程如下：可以选择神经网络模型作为特征提取模型的基础模型。例如，采用ResNet模型、VGG模型等神经网络模型，本实施例不做限定。选取大量预处理过的眼底图像作为训练样本，将训练样本对应的图像特征作为训练标签，对特征提取模型进行训练。在训练过程中，将训练样本输入到特征提取模型中，得到特征提取模型输出的结果，根据特征提取模型输出的结果和训练标签，确定特征提取模型的损失值，按照减小特征提取模型的损失值的方向，对特征提取模型的参数进行调整。重复执行上述训练过程，直至特征提取模型的损失值小于设定值，特征提取模型训练完成。需要说明的是，上述设定值可以根据实际情况进行设定，本实施例不做限定。

将待分类眼底图像输入到上述特征提取模型中，得到特征提取模型输出的待分类眼底图像的图像特征。

S102、基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型。

视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种。

其中，视网膜中央动脉堵塞是指动脉进入视网膜的起始段出现了堵塞，营养成分不能到达视网膜，可引起暴盲，视力急剧下降到看不见东西，甚至没有光感，图2所示为视网膜中央动脉堵塞的眼底图像。视网膜分支动脉堵塞是指动脉进入视网膜以后的分支段出现堵塞，可能会导致病人视力、视野有不同程度的受损，表现为视力不同程度的下降，眼前有暗影遮挡，图3所示为视网膜中央动脉堵塞的眼底图像。未见视网膜动脉堵塞表示通过眼底图像没有发现视网膜动脉出现明显的堵塞情况，这样的眼底图像的视网膜动脉一般未发生堵塞。

不同的视网膜动脉堵塞类型的眼底图像具备不同的图像特征。示例性的，本申请的实施例中，可以预先提取大量的视网膜中央动脉堵塞的眼底图像、视网膜分支动脉堵塞的眼底图像和未见视网膜动脉堵塞的眼底图像的图像特征。然后分别将视网膜中央动脉堵塞的眼底图像的图像特征、视网膜分支动脉堵塞的眼底图像的图像特征和未见视网膜动脉堵塞的眼底图像的图像特征与基于上述步骤确定的待分类眼底图像的图像特征进行相似度比较，将相似度最高的视网膜动脉堵塞类型确定为待分类眼底图像所属的视网膜动脉堵塞类型。

又一示例性的，可以预先训练特征分类模型，将待分类眼底图像的图像特征输入到上述特征分类模型中，以便于特征分类模型能够基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型。

特征分类模型在训练时，采用眼底图像的图像特征作为训练样本，采用训练样本对应的视网膜动脉堵塞类型作为标签。特征分类模型具体的训练过程与以上实施例的特征提取模型的训练过程相同，本领域的技术人员参照以上实施例对特征提取模型的训练过程的记载即可，此处不作赘述。

基于上述步骤，能够将分析样本分为视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞三种类型。若需要针对视网膜中央动脉堵塞进行研究，则可以从分析样本中快速提取视网膜动脉堵塞类型为视网膜中央动脉堵塞的眼底图像；若需要针对视网膜分支动脉堵塞进行研究，则可以从分析样本中快速提取视网膜动脉堵塞类型为视网膜分支动脉堵塞的眼底图像；若需要针对视网膜中央动脉堵塞、视网膜分支动脉堵塞进行研究，则可以分别从分析样本中快速提取视网膜动脉堵塞类型为视网膜中央动脉堵塞、视网膜分支动脉堵塞的眼底图像。

S103、若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

进一步的，如果确定待分类眼底图像所属的视网膜动脉堵塞类型为未见视网膜动脉堵塞，则表示待分类眼底图像中没有出现明显的视网膜动脉堵塞，则不必进一步确认这样的图像对视功能的影响程度。如果确定待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，还需要进一步确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

本实施例中，可以根据上述实施例中的步骤提取的待分类眼底图像的图像特征，确定待分类眼底图像中的病灶区域，进而根据病灶区域置确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。其中，可以根据病灶区域的大小以及病灶区域所在的位置确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

示例性的，图2所示为中央动脉堵塞的眼底图像，图2中的区域S1为中央动脉堵塞的病灶区域；图3所示为分支动脉堵塞的眼底图像，图3中的区域S2为分支动脉堵塞的病灶区域。基于图2和图3可知，在眼底图像中，中央动脉堵塞的病灶区域表现为后极部视网膜呈灰白色浑浊、水肿,黄斑区相对呈红色；分支动脉堵塞的病灶区域表现为受累视网膜(多见于颞下方及颞上方视网膜动脉分支供血区域)呈区域性浅层浑浊或白变(灰白色水肿)，局部可合并有棉绒斑。基于上述表现，可以利用计算机视觉技术将病灶区域提取出来，进而根据病灶区域，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

进一步的，基于上述步骤将分析样本按照所需类型分类后，可以将视网膜中央动脉堵塞和/或视网膜分支动脉堵塞类型的分析样本按照对视功能的影响程度进一步进行分类。

以上实施例中，从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征.确定待分类眼底图像所属的视网膜动脉堵塞类型，若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，实现了快速准确地按照视网膜动脉堵塞的不同类型以及对视功能不同的影响程度自动对眼底图像进行分类的目的。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型，具体可以包括如下步骤：

将待分类眼底图像输入到预先训练的视网膜动脉堵塞分类模型中，以使视网膜动脉堵塞分类模型从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型。

上述视网膜动脉堵塞分类模型为特征提取分类模型，也就是说，基于上述视网膜动脉堵塞分类模型，能够从待分类眼底图像中提取待分类眼底图像的图像特征，然后基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型。

视网膜动脉堵塞分类模型的训练过程如下：可以选择神经网络模型作为特征提取模型的基础模型。例如，采用ResNet50，本实施例不做限定。选取大量眼底图像作为训练样本，将训练样本对应的视网膜动脉堵塞类型作为训练标签，对视网膜动脉堵塞分类模型进行训练。在训练过程中，将训练样本输入到视网膜动脉堵塞分类模型中，得到视网膜动脉堵塞分类模型输出的结果，根据视网膜动脉堵塞分类模型输出的结果和训练标签，确定视网膜动脉堵塞分类模型的损失值，按照减小视网膜动脉堵塞分类模型的损失值的方向，对视网膜动脉堵塞分类模型的参数进行调整。重复执行上述训练过程，直至视网膜动脉堵塞分类模型的损失值小于设定值，特征提取模型训练完成。需要说明的是，上述设定值可以根据实际情况进行设定，本实施例不做限定。

以上实施例中，基于视网膜动脉堵塞分类模型能够快速准确的对待分类眼底图像进行分类，确定待分类眼底图像所属的视网膜动脉堵塞类型。

作为一种可选的实现方式，如图4所示，在本申请另一实施例中公开了，以上实施例的步骤基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，具体可以包括如下步骤：

S401、基于待分类眼底图像的图像特征，确定待分类眼底图像的病灶区域。

本申请的实施例中，能够根据待分类眼底图像的图像特征，确定待分类眼底图像的病灶区域。

示例性的，可以预先训练病灶区域提取模型，将待分类眼底图像的图像特征输入到病灶区域提取模型中，获取病灶区域提取模型输出的病灶区域图像。病灶区域提取模型在训练时，采用眼底图像的图像特征作为训练样本，采用训练样本对应的病灶区域作为标签。病灶区域提取模型具体的训练过程与以上实施例的特征提取模型的训练过程相同，本领域的技术人员参照以上实施例对特征提取模型的训练过程的记载即可，此处不作赘述。

此外，还可以按照以上实施例中的记载，基于计算机视觉确定待分类眼底图像的病灶区域，本实施例不做限定。

S402、根据病灶区域.确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

确定病灶区域后，可以检测病灶区域的面积和病灶区域的位置，根据病灶区域的面积和病灶区域的位置，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

以上实施例中，若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则能够基于待分类眼底图像的图像特征，有效确定待分类眼底图像的病灶区域，进而确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤基于待分类眼底图像的图像特征，确定待分类眼底图像的病灶区域，具体可以包括如下步骤：

基于待分类眼底图像的图像特征，生成待分类眼底图像的视网膜动脉堵塞异常区域的热力图；从待分类眼底图像的视网膜动脉堵塞异常区域的热力图中确定待分类眼底图像的病灶区域。

本实施例中，可以基于待分类眼底图像的图像特征，构造待分类眼底图像中病灶区域的热力图，热力图能够比较清晰的展现出来视网膜动脉堵塞分类模型对病灶区域的响应程度。因此.可以根据热力图的颜色分布和位置分布，确定待分类眼底图像的病灶区域。

其中,可以将热力图中响应程度较高的区域确定为待分类眼底图像的病灶区域。例如，将热力图中红色区域覆盖的位置确定为待分类眼底图像的病灶区域，或者将热力图中红色区域、黄色区域，绿色区域和蓝色区域覆盖的位置确定为待分类眼底图像的病灶区域等，本实施例不做赘述。

具体的，可以基于如下步骤生成待分类眼底图像的视网膜动脉堵塞异常区域的热力图：

根据预先训练的视网膜动脉堵塞分类模型输出的分类结果进行反向传播。得到视网膜动脉堵塞分类模型中最后一个卷积层的每个通道特征图相对于分类结果的梯度值；计算梯度值与对应的通道特征图的乘积，得到类热力图；通过激活函数对类热力图进行激活处理，将激活处理后的类热力图与待分类眼底图像叠加，得到待分类眼底图像的视网膜动脉堵塞异常区域的热力图。

本实施例中，从视网膜动脉堵塞分类模型输出的分类结果所在的节点开始进行反向传播。具体的，遍历视网膜动脉堵塞分类模型最后一层卷积的所有通道并进行全局平均池化，经过softmax得到分类结果，计算视网膜动脉堵塞分类模型中最后一个卷积层的每个通道特征图相对于分类结果的梯度值；计算梯度值与对应的通道特征图的乘积，得到类热力图，类热力图能够表示每个通道特征图对于模型分类决策的重要程度。其中，梯度值与生成该梯度值时参与梯度计算的通道特征图相对应。再经过激活函数和归一化处理.生成有序的类映射图，即激活处理后的类热力图，将类映射图与待分类眼底图像叠加，得到待分类眼底图像的视网膜动脉堵塞异常区域的热力图。

上述实施例中，生成的热力图能够实现病灶位置的可视化，以便于更直观地观察动脉堵塞异常区域的特征。在边缘区域不明显的情况下，通过热力图能够更加精确的确定待分类眼底图像中的病灶区域。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤将激活处理后的类热力图与待分类眼底图像叠加，具体可以包括如下步骤：

将激活处理后的类热力图上采样至尺寸与待分类眼底图像的尺寸相同后再与待分类眼底图像叠加。

具体的，可以根据待分类眼底图像的尺寸对激活处理后的类热力图进行上采样处理，将生成的类映射图上采样到待分类眼底图像的尺寸大小，与待分类眼底图像进行叠加，得到待分类眼底图像的可视化热力图。

以上实施例中，通过对激活处理后的类热力图进行上采样，能够增大激活处理后的类热力图的面积，以使激活处理后的类热力图能够与待分类眼底图像叠加到一起。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤根据病灶区域，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，具体可以包括如下步骤：

根据病灶区域的位置和面积，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

病灶区域的位置与待分类眼底图像中的黄斑的位置之间距离与视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度为反比关系。也就是说，病灶区域的位置越靠近待分类眼底图像中的黄斑的位置，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度越高；病灶区域的位置越远离待分类眼底图像中的黄斑的位置，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度越低。

病灶区域的面积与视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度为正比关系。也就是说，病灶区域的面积越大，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度越高；病灶区域的面积越小，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度越低。

视功能包括视力和视野。基于视网膜动脉堵塞病灶的热力图的颜色分布和位置分布，可以判断视网膜动脉堵塞病灶对视力的影响程度，其中，热力图中红色部分影响最大，也就是红色部分面积越大，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视力的影响程度越高，红色部分越靠近待分类眼底图像中的黄斑的位置，视网膜中央动脉堵塞或视网膜分支动脉堵塞对视力的影响程度越高。如果病灶区域在黄斑周边，病患可能会失去部分的视野，处于部分失明的状态。而基于热力图可以判断对视力的影响，热力图中红色部分对视力影响最大，周边颜色对视力的影响最小。

以上实施例中，基于病灶区域的位置和面积，能够确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度，进而实现按照视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度进一步进行分类的目的。

此外，本申请实施例的上述技术方案，还可以辅助用于视网膜动脉堵塞的诊断。具体的，如果发生视网膜中央动脉阻塞，病患会发生无痛性的突然失明，该失明是无痛的，会不知不觉突然发生视力下降甚至无光感；如果是分支动脉阻塞，动脉所供养的区域发生阻塞，相对应的这片区域看不到，往往病人会感到突然发生的一片看不到，或者视力下降，甚至动脉阻塞范围较小，病人会感觉不到。

当病患出现视力突然下降或失明的情况，在获取到病患的眼底图像后，可以基于上述实施例记载的技术方案，确定病患是否为视网膜动脉堵塞。若确定病患为视网膜动脉堵塞中的视网膜中央动脉堵塞或视网膜分支动脉堵塞，能够进一步确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对病患的视功能影响程度。从而帮助医生更准确且全面地对病患失明的原因进行的诊断，降低职业医生的工作负担、提高医疗服务的效率，辅助医生制定治疗方案，有效解决基层医生的痛点。而且，通过精准、高效、定量化区分动脉堵塞病灶，还能够节省医生诊断时间，使得病患能够及时得到治疗，避免因诊断不及时导致病患病情进一步恶化，错过最佳治疗时间。

示例性装置

与上述图像分类方法相对应的，本申请实施例还公开了一种图像分类装置，参见图5所示，该装置包括：

提取模块100，用于从待分类眼底图像中提取待分类眼底图像的图像特征；

第一确定模块110，用于基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型；视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种；

第二确定模块120，用于若待分类眼底图像所属的视网膜动脉堵塞类型为视网膜中央动脉堵塞或视网膜分支动脉堵塞，则基于待分类眼底图像的图像特征，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的提取模块100从待分类眼底图像中提取待分类眼底图像的图像特征，第一确定模块110基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型时，具体用于：

将待分类眼底图像输入到预先训练的视网膜动脉堵塞分类模型中，以使视网膜动脉堵塞分类模型从待分类眼底图像中提取待分类眼底图像的图像特征，基于待分类眼底图像的图像特征，确定待分类眼底图像所属的视网膜动脉堵塞类型。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第二确定模块120，包括：

第一确定单元，用于基于待分类眼底图像的图像特征，确定待分类眼底图像的病灶区域；

第二确定单元，用于根据病灶区域，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第一确定单元基于待分类眼底图像的图像特征，确定待分类眼底图像的病灶区域时，具体用于：

基于待分类眼底图像的图像特征，生成待分类眼底图像的视网膜动脉堵塞异常区域的热力图；从待分类眼底图像的视网膜动脉堵塞异常区域的热力图中确定待分类眼底图像的病灶区域。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第一确定单元基于待分类眼底图像的图像特征，生成待分类眼底图像的视网膜动脉堵塞异常区域的热力图时，具体用于：

根据预先训练的视网膜动脉堵塞分类模型输出的分类结果进行反向传播，得到视网膜动脉堵塞分类模型中最后一个卷积层的每个通道特征图相对于分类结果的梯度值；计算梯度值与对应的通道特征图的乘积，得到类热力图；通过激活函数对类热力图进行激活处理，将激活处理后的类热力图与待分类眼底图像叠加，得到待分类眼底图像的视网膜动脉堵塞异常区域的热力图。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第一确定单元将激活处理后的类热力图与待分类眼底图像叠加，得到待分类眼底图像的视网膜动脉堵塞异常区域的热力图时，具体用于：

将激活处理后的类热力图上采样至尺寸与待分类眼底图像的尺寸相同后再与待分类眼底图像叠加。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第二确定单元根据病灶区域，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度时，具体用于：

根据病灶区域的位置和面积，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的第二确定单元根据病灶区域的位置和面积，确定视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度时，具体用于：

病灶区域的位置与待分类眼底图像中的黄斑的位置之间距离与视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度为反比关系；病灶区域的面积与视网膜中央动脉堵塞或视网膜分支动脉堵塞对视功能的影响程度为正比关系。

示例性电子设备、计算机程序产品和存储介质

本申请另一实施例还提出一种电子设备，参见图6所示，该电子设备包括：

存储器200和处理器210；

其中，存储器200与处理器210连接，用于存储程序；

处理器210，用于通过运行存储器200中存储的程序，实现上述任一实施例公开的图像分类方法。

具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本申请技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的图像分类方法的各个步骤。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器210运行时使得处理器210执行上述实施例所提供的图像分类方法的各个步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器210执行上述实施例所提供的图像分类方法的各个步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

具体的，上述的电子设备、计算机程序产品和存储介质的各个部分的具体工作内容，以及计算机程序产品或者上述的存储介质上的计算机程序被处理器运行时的具体处理内容，均可以参见上述的图像分类方法的各个实施例的内容，此处不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接.可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像分类方法，其特征在于，包括：

从待分类眼底图像中提取所述待分类眼底图像的图像特征；

基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型；所述视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种；

若所述待分类眼底图像所属的视网膜动脉堵塞类型为所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞，则基于所述待分类眼底图像的图像特征，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

2.根据权利要求1所述的图像分类方法，其特征在于，所述从待分类眼底图像中提取所述待分类眼底图像的图像特征，基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型，包括：

将所述待分类眼底图像输入到预先训练的视网膜动脉堵塞分类模型中，以使所述视网膜动脉堵塞分类模型从待分类眼底图像中提取所述待分类眼底图像的图像特征，基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型。

3.根据权利要求1所述的图像分类方法，其特征在于，所述基于所述待分类眼底图像的图像特征，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

基于所述待分类眼底图像的图像特征,确定所述待分类眼底图像的病灶区域；

根据所述病灶区域，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

4.根据权利要求3所述的图像分类方法，其特征在于，所述基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像的病灶区域，包括：

基于所述待分类眼底图像的图像特征，生成所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图；

从所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图中确定所述待分类眼底图像的病灶区域。

5.根据权利要求4所述的图像分类方法，其特征在于，所述基于所述待分类眼底图像的图像特征，生成所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图，包括：

根据预先训练的视网膜动脉堵塞分类模型输出的分类结果进行反向传播，得到所述视网膜动脉堵塞分类模型中最后一个卷积层的每个通道特征图相对于所述分类结果的梯度值；

计算所述梯度值与对应的通道特征图的乘积，得到类热力图；

通过激活函数对所述类热力图进行激活处理，将激活处理后的类热力图与所述待分类眼底图像叠加，得到所述待分类眼底图像的视网膜动脉堵塞异常区域的热力图。

6.根据权利要求4所述的图像分类方法，其特征在于，所述将激活处理后的类热力图与所述待分类眼底图像叠加，包括：

将激活处理后的类热力图上采样至尺寸与所述待分类眼底图像的尺寸相同后再与所述待分类眼底图像叠加。

7.根据权利要求3所述的图像分类方法，其特征在于，所述根据所述病灶区域，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

根据所述病灶区域的位置和面积，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

8.根据权利要求7所述的图像分类方法，其特征在于，所述根据所述病灶区域的位置和面积，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度，包括：

所述病灶区域的位置与所述待分类眼底图像中的黄斑的位置之间距离与所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度为反比关系；所述病灶区域的面积与所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度为正比关系。

9.一种图像分类装置，其特征在于，包括：

提取模块，用于从待分类眼底图像中提取所述待分类眼底图像的图像特征；

第一确定模块，用于基于所述待分类眼底图像的图像特征，确定所述待分类眼底图像所属的视网膜动脉堵塞类型；所述视网膜动脉堵塞类型包括视网膜中央动脉堵塞、视网膜分支动脉堵塞和未见视网膜动脉堵塞中的至少一种；

第二确定模块，用于若所述待分类眼底图像所属的视网膜动脉堵塞类型为所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞，则基于所述待分类眼底图像的图像特征，确定所述视网膜中央动脉堵塞或所述视网膜分支动脉堵塞对视功能的影响程度。

10.一种电子设备，其特征在于，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至8中任意一项所述的方法。

Images