CN110490860A - 糖尿病视网膜病变识别方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种糖尿病视网膜病变识别方法、装置及电子设备，涉及图像识别技术领域。所述方法包括：采集待识别的眼底图像；将所述眼底图像输入糖尿病视网膜病变识别模型，所述糖尿病视网膜病变识别模型基于实例分割模型训练获得；通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶；通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种。上述方法通过糖尿病视网膜病变识别模型直接识别出眼底图像中病灶的类型、位置和形状，能够实现病变分期的准确识别。

Description

糖尿病视网膜病变识别方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种糖尿病视网膜病变识别方法、装置及电子设备。

背景技术

随着计算机技术和图像处理技术的迅速发展，相关技术已经被广泛应用于医学上，例如在应用于基于眼底图像的糖尿病视网膜病变人工智能辅助识别上，可以使用基于图像识别的技术，也可以使用基于目标检测的技术。现有的基于图像识别技术的糖尿病视网膜病变人工智能辅助识别系统存在识别准确率较低的问题。另一方面，现有技术方案通常只能对病灶进行大致定位，无法直接显示出病灶形状，需要专业人员对其进行进一步人工判断，存在识别结果不全面的问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种糖尿病视网膜病变识别方法、装置及电子设备，以改善现有技术中存在的糖尿病视网膜病变识别准确率较低、识别结果不全面问题。

本申请实施例提供了一种糖尿病视网膜病变识别方法，所述方法包括：采集待识别的眼底图像；将所述眼底图像输入糖尿病视网膜病变识别模型，所述糖尿病视网膜病变识别模型基于实例分割模型训练获得；通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶；通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种。

在上述实现方式中，通过基于实例分割模型训练获得的糖尿病视网膜病变识别模型完成对病灶的类型、位置和形状的识别，在提高了病灶识别准确率的同时，输出了该病灶的更为全面的相关信息，以协助相关人员对病灶进行更加准确、全面的分析判断。

可选地，所述通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶，包括：确定所述眼底图像的特征映射图；在所述特征映射图中确定候选感兴趣区域；通过区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤，以获得特征感兴趣区域；对所述特征感兴趣区域进行感兴趣区域对齐操作，以获得所述眼底图像与所述特征映射图的感兴趣区域对应关系；基于所述感兴趣区域对应关系确定所述眼底图像中与所述特征感兴趣区域的对应感兴趣区域；确定所述对应感兴趣区域为病灶。

在上述实现方式中。对候选感兴趣区域过滤后再将剩下的候选兴趣区域与眼底图像中的对应区域进行匹配，实现了特征图与原图像的精确对应，从而提高了病灶识别准确度。

可选地，所述通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种，包括：获取所述特征感兴趣区域的分类结果、边框回归结果和掩模生成结果；基于所述分类结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的类型；基于所述边框回归结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的位置；基于所述掩模生成结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的形状。

在上述实现方式中，仅采用糖尿病视网膜病变识别模型获取眼底图像中病灶的类型、位置和形状，从而能够方便、快捷地向相关人员进行病灶信息的全面展示。

可选地，在所述将所述眼底图像输入糖尿病视网膜病变识别模型之前，所述方法还包括：将所述眼底图像缩放至预设尺寸；所述在所述特征映射图中确定候选感兴趣区域，包括：采用与所述预设尺寸的所述眼底图像中最小病灶对应的最小尺寸锚点在所述特征映射图中确定候选感兴趣区域。

在上述实现方式中，基于眼底图像中常见的最小病灶的像素大小对锚点尺寸进行调节，以对最小的病灶进行精确识别。

可选地，所述由区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤，包括：基于特征金字塔网络获得所述眼底图像的特征金字塔，所述特征金字塔包括多层特征图像，不同层特征图像表征所述眼底图像不同尺度的特征；将基于所述特征金字塔生成的不同尺度的特征输入所述区域生成网络，以通过所述区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤。

在上述实现方式中，采用特征金字塔对眼底图像中不同尺度的特征进行识别，进一步提高了病灶识别的准确性。

可选地，所述基于特征金字塔网络获得所述眼底图像的特征金字塔，包括：采用残差网络结构获得所述眼底图像的N个图层，所述N个图层从下层至上层尺寸逐渐变小；将第i个图层作为所述特征金字塔的第i层特征图像，N≥i≥2，且i的起始值为N；将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图；将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像；令i＝i-1，并重复上述步骤所述将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图至所述将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像的步骤，以获得所述特征金字塔的底层至第N层特征图像；对所述第N层特征图像进行下采样获得所述特征金字塔的第N+1层特征图像，对所述第N+1层特征图像进行下采样获得所述特征金字塔的第N+2层特征图像。

在上述实现方式中，通过上采样及卷积相加等方式构建了N层特征金字塔，并且还通过下采样构建了第N+1层和第N+2层特征图像，从而使病灶的可识别尺寸的范围得到了扩展，从而实现更加准确、全面的病灶识别。

可选地，所述方法还包括：基于所述病灶的类型、位置和形状，结合医学诊断指南对病变分期进行判定，并生成诊疗建议。

在上述实现方式中，在识别出病灶的类型、位置和形状后直接结合医学诊断指南对病变分期进行自动判定，向相关人员给出具体地诊疗建议，从而提高了病变判定的准确性和效率。

本申请实施例还提供了一种糖尿病视网膜病变识别装置，所述装置包括：采集模块，用于采集待识别的眼底图像；输入模块，用于将所述眼底图像输入糖尿病视网膜病变识别模型，所述糖尿病视网膜病变识别模型基于实例分割模型训练获得；模型识别模块，用于通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶；标注模块，用于通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种。

在上述实现方式中，通过基于实例分割模型训练获得的糖尿病视网膜病变识别模型完成对病灶的类型、位置和形状的识别，在提高了病灶识别准确率的同时，输出了该病灶的更为全面的相关信息，以协助相关人员对病灶进行更加准确、全面的分析判断。

可选地，所述模型识别模块包括：特征映射图确定单元，用于确定所述眼底图像的特征映射图；候选感兴趣区域确定单元，用于在所述特征映射图中确定候选感兴趣区域；过滤单元，用于通过区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤，以获得特征感兴趣区域；对齐单元，用于对所述特征感兴趣区域进行感兴趣区域对齐操作，以获得所述眼底图像与所述特征映射图的感兴趣区域对应关系；对应区域确定单元，用于基于所述感兴趣区域对应关系确定所述眼底图像中与所述特征感兴趣区域的对应感兴趣区域；病灶确定单元，用于确定所述对应感兴趣区域为病灶。

在上述实现方式中。对候选感兴趣区域过滤后再将剩下的候选兴趣与区与眼底图像中的对应区域进行匹配，实现了特征图与原图像的精确对应，从而提高了病灶识别准确度。

可选地，所述标注模块包括：识别处理单元，用于获取所述特征感兴趣区域的分类结果、边框回归结果和掩模生成结果；类型确定单元，用于基于所述分类结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的类型；位置确定单元，用于基于所述边框回归结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的位置；形状确定单元，用于基于所述掩模生成结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的形状。

在上述实现方式中，仅采用糖尿病视网膜病变识别模型获取眼底图像中病灶的类型、位置和形状，从而能够方便、快捷地向相关人员进行病灶信息的全面展示。

可选地，所述输入模块还用于将所述眼底图像缩放至预设尺寸；所述候选感兴趣区域确定单元还用于采用与所述预设尺寸的所述眼底图像中最小病灶对应的最小尺寸锚点在所述特征映射图中确定候选感兴趣区域。

在上述实现方式中，基于眼底图像中常见的最小病灶的像素大小对锚点尺寸进行调节，以对最小的病灶进行精确识别。

可选地，所述过滤单元具体用于：基于特征金字塔网络获得所述眼底图像的特征金字塔，所述特征金字塔包括多层特征图像，不同层特征图像表征所述眼底图像不同尺度的特征；将基于所述特征金字塔生成的不同尺度的特征输入所述区域生成网络，以通过所述区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤。

在上述实现方式中，采用特征金字塔对眼底图像中不同尺度的特征进行识别，进一步提高了病灶识别的准确性。

可选地，所述过滤单元具体用于：采用残差网络结构获得所述眼底图像的N个图层，所述N个图层从下层至上层尺寸逐渐变小；将第i个图层作为所述特征金字塔的第i层特征图像，N≥i≥2，且i的起始值为N；将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图；将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像；令i＝i-1，并重复上述步骤所述将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图至所述将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像的步骤，以获得所述特征金字塔的底层至第N层特征图像；对所述第N层特征图像进行下采样获得所述特征金字塔的第N+1层特征图像，对所述第N+1层特征图像进行下采样获得所述特征金字塔的第N+2层特征图像。

在上述实现方式中，通过上采样及卷积相加等方式构建了N层特征金字塔，并且还通过下采样构建了第N+1层和第N+2层特征图像，从而使病灶的可识别尺寸的范围得到了扩展，从而实现更加准确、全面的病灶识别。

可选地，所述装置还包括诊疗建议模块，用于基于所述病灶的类型、位置和形状，结合医学诊断指南对病变分期进行判定，并生成诊疗建议。

在上述实现方式中，在识别出病灶的类型、位置和形状后直接结合医学诊断指南对病变分期进行自动判定，向相关人员给出具体地诊疗建议，从而提高了病变判定的准确性和效率。

本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种糖尿病视网膜病变识别方法的流程示意图；

图2为本申请实施例提供的一种病灶确定步骤的流程示意图；

图3为本申请实施例提供的一种特征金字塔获取步骤的流程示意图；

图4为本申请实施例提供的一种病灶类型、位置和形状的识别步骤的流程示意图；

图5为本申请实施例提供的一种包含诊疗建议生成的识别步骤的流程示意图；

图6为本申请实施例提供的一种糖尿病视网膜病变识别装置的模块示意图。

图标：20-糖尿病视网膜病变识别装置；21-采集模块；22-输入模块；23-模型识别模块；24-标注模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

基于近年来深度学习和人工智能的发展，图像识别和目标检测技术有了突破性进展，在公开数据集上训练的深度学习模型，在某些场景上已经达到甚至超过了人类所能达到的水平。图像识别即图像分类，就是将图片中的主体目标是什么识别出来，例如识别图片是猫的照片还是狗的照片；目标检测即识别出图片中包含哪些物体，并进行定位，如图片中是否有猫或者狗，位置在哪里。图像识别和目标检测是人工智能在图像处理领域应用最为广泛的两个领域。

现有的基于图像识别技术和目标检测技术的实现的眼底病变人工智能辅助诊断系统在开发、应用过程中各有优劣。现有的基于图像识别技术的眼底病变人工智能辅助诊断系统的优点在于训练时间较短，有利于模型的迭代和部署；劣势在于需要大量的标注数据才能达到比较高的准确率，且存在漏检率高的问题。现有的基于目标检测技术的眼底病变人工智能辅助诊断系统的优点在于不需要大量的训练数据，既可以达到一个较为优秀的性能；劣势在于模型训练周期长，不利于模型的迭代和部署。同时，上述两种现有的技术方式均不能同时对眼底图像中病灶的类型、位置和形状进行准确地识别，存在病灶识别准确性和全面性较差的问题。

为了解决上述问题，本申请实施例提供了一种糖尿病视网膜病变识别方法。请参考图1，图1为本申请实施例提供的一种糖尿病视网膜病变识别方法的流程示意图。该糖尿病视网膜病变识别方法的具体步骤可以如下：

步骤S12：采集待识别的眼底图像。

眼底就是眼球内后部的组织，即眼球的内膜，包括视网膜、视乳头、黄斑和视网膜中央动静脉。眼底的视网膜血管是人体中可看见的血管，医生把它当作了解其它脏器血管情况的窗口。因此，它的变化在一定程度上反映了一些器官的改变程度。如高血压病人眼底可见到视网膜动脉硬化，糖尿病病人眼底可见毛细血管瘤、小的出血点和渗出物，这就在一定程度上反映了全身的血管改变情况。因此本实施例采用眼底图像进行糖尿病病症的识别判定。

可选地，本实施例采集眼底图像可以采用眼底照相机图像采集系统，其包括光学接口、CCD(英文全称：Charge Coupled Device，中文全称：电荷耦合器件)摄像头、图像采集卡和图像采集软件等。其中，光学接口用于进行光学转换和成像，按要求的放大倍率将眼底图像清晰地成像在CCD接收靶面上；CCD摄像头可以选用分辨率较高且同时兼顾彩色眼底图像采集和眼底荧光造影图像采集的摄像头，例如DXC-970MD摄像头等；图像采集卡可以选用与CCD摄像头匹配且能够进行实施活动视频窗口显示的采集卡，例如Matrox Meteror-Ⅱ型号的图像采集卡。

步骤S14：将眼底图像输入糖尿病视网膜病变识别模型，糖尿病视网膜病变识别模型基于实例分割模型训练获得。

实例分割模型的英文名称为Mask R-CNN，该模型是建立在Faster R-CNN基础上，其中，R-CNN的英文全称为Region-based Convolutional Network method。Mask R-CNN能确定图片中各个目标的位置和类别，给出像素级预测。所谓“实例分割”，指的是对场景内的每种兴趣对象进行分割，无论它们是否属于同一类别——比如模型可以从街景视频中识别车辆、人员等单个目标。Mask R-CNN的改进在于：对于每个目标对象，Faster R-CNN都有两个输出，一是分类标签，二是候选窗口；为了分割目标像素，Mask R-CNN在前两个输出的基础上增加第三个输出—指示对象在窗口中像素位置的二进制掩模(Mask)。具体地，Mask-RCNN是一种使用目标检测+实例分割的深度神经网络模型，该模型包括体网络、FPN(英文全称：Feature Pyramid Networks)，中文全称：特征金字塔网络)/RPN(英文全称：RegionProposal Network,中文全称：区域候选网络)、目标分类网络和目标分割网络。其中体网络用于提取图像特征，FPN用于将体网络提取到的特征组合成特征金字塔，RPN网络用于提取ROI(英文全称：Region of Interesting，中文全称：感兴趣区域)并将大量的背景剔除掉，目标分类网络用于将提取到的前景目标进行分类、分割网络用于对前景目标进行分割获得前景目标的形状。

在进行眼底图像的病灶识别时，Mask R-CNN比Faster-RCNN复杂，但是最终仍然可以达到5fps的速度，这和原始的Faster-RCNN的速度相当。由于发现了ROI Pooling(感兴趣区域池化)中所存在的像素偏差问题，提出了对应的ROIAlign(感兴趣区域对齐)策略，加上FCN精准的像素掩模操作，使得其可以获得更高的病灶识别准确率。

应当理解的是，基于Mask R-CNN练获得糖尿病视网膜病变识别模型的过程，主要是对Mask R-CNN中的骨架网络进行分类网络的权重训练，Mask R-CNN可以选用ResNet(英文全称：Residual Network，中文全称：残差网络)、VGG(英文全称：Visual GeometryGroup)等分类网络作为骨架网络结构，该分类网络的权重是已经预训练完成的，目前常用的预训练权重是基于Imagenet数据集进行的。具体地，先使用Imagenet数据集对分类网络进行训练，在完成训练达到足够的分类精度后，保存得到的训练权重，在训练其他数据集前，不再随机初始化模型的权重，而是采用载入已经训练好的模型的权重。本实施例可以采用Imagenet数据集中的大量眼底图像对分类网络进行训练，获得糖尿病视网膜病变识别模型。

步骤S16：通过糖尿病视网膜病变识别模型确定眼底图像中的病灶。

具体地，请参考图2，图2为本申请实施例提供的一种病灶确定步骤的流程示意图，该步骤S16进行病灶确定的步骤可以如下：

步骤S16.1：确定眼底图像的特征映射图。

特征映射是指是把各个领域的数据从原始高维特征空间映射到低维特征空间，在该低维空间下，源领域数据与目标领域数据拥有相同的分布。可选地，特征映射图可以是通过卷积核等对眼底图像进行特征提取后获得。

步骤S16.2：在特征映射图中确定候选感兴趣区域。

候选感兴趣区域即为候选的ROI。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。

可选地，本实施例中的候选感兴趣区域可以是通过RPN生成，该特征映射图中通常有多个候选感兴趣区域。具体地，该候选感兴趣区域为通过RPN头部在特征映射图中生成锚点(英文名称：anchor)，锚点就是有编号和坐标的边框。

应当理解的是，锚点的尺寸会影响对目标的识别精度，因此本实施例在将眼底图像输入至糖尿病视网膜病变识别模型之前可以将眼底图像缩放至预设尺寸，例如短边为1600像素，则可以将锚点的尺寸设置为能够识别眼底图像中最小病灶(一般为大小为10像素*10像素的微血管瘤)的锚点尺寸，短边为1600像素的眼底图像对应的最小锚点尺寸为8像素。

步骤S16.3：通过区域生成网络基于二值分类和边框回归对候选感兴趣区域进行过滤，以获得特征感兴趣区域。

具体地，通过RPN中部的分类分值和边框回归分支对锚点进行计算，在RPN末端对上述两个分值的计算结果进行汇总，实现对锚点的初步筛选和初步偏移，从而获得特征感兴趣区域。

进一步地，在本实施例中还可以基于FPN获得眼底图像的特征金字塔，特征金字塔包含眼底图像的不同尺度的特征(即不同大小的锚点)，将不同尺度的特征输入RPN能够通过RPN基于不同尺度的特征对候选感兴趣区域进行分类和边框回归，以更加精确地完成过滤。

请参考图3，图3为本申请实施例提供的一种特征金字塔获取步骤的流程示意图，该特征金字塔获取步骤可以包括：

步骤A：采用残差网络结构获得眼底图像的N个图层，N个图层从下层至上层尺寸逐渐变小。

作为一种可选的实施方式，本实施例中残差网络结构可以包含从下层至上层排列的conv2、conv3、conv4、conv5四个图层，即N＝4，其中每向上一个图层其尺寸大小减半。

步骤B：将第i-1个图层通过1×1卷积层后获得第i-1个图层的卷积特征图。

步骤C：将第i-1个图层通过1×1卷积层后获得第i-1个图层的卷积特征图。

其中，该卷积层可以是常用的卷积过滤器。对第i-1个图层进行卷积的作用是将使其卷积核数量与第i层特征图像相同，从而能够相加(像素间加法)。

步骤D：将第i层特征图像的进行上采样得到的上采样结果和第i-1个图层的卷积特征图相加融合获得特征金字塔的第i-1层特征图像。

其中，上采样的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

可选地，本实施例中可以是对第i层特征图像进行2倍上采样，该上采样可以采用最邻近元法，这是最简单的一种插值方法，不需要计算，在待求像素的四邻像素中，将距离待求像素最近的邻像素灰度赋给待求像素。

步骤E：令i＝i-1，并重复上述步骤将第i-1个图层通过1×1卷积层后获得第i-1个图层的卷积特征图至将第i层特征图像的进行下采样得到的下采样结果和第i-1个图层的卷积特征图相加融合获得特征金字塔的第i-1层特征图像的步骤，以获得特征金字塔的底层至第N层特征图像；

步骤F：对第N层特征图像进行下采样获得特征金字塔的第N+1层特征图像，对第N+1层特征图像进行下采样获得特征金字塔的第N+2层特征图像。

其中，下采样是指对于一幅尺寸为M×N像素的图像，对其进行s倍下采样，即得到(M/s)×(N/s)像素的分辨率的图像，从而生成对应图像的缩略图。

在N＝4时，本实施例通过对第四层特征图像进行连续下采样获得第五层特征图像和第六层特征图像，从而将病灶识别范围扩大为8×8像素至256×256像素。

步骤S16.4：对特征感兴趣区域进行感兴趣区域对齐操作，以获得眼底图像与特征映射图的感兴趣区域对应关系。

应当理解的是，采用现有技术将眼底图像映射到特征图像中时，会对图像进行大小进行两次量化，从而形成像素偏差。因此本实施例通过感兴趣区域对齐操作(ROI Align)取消量化操作，基于眼底图像与特征映射图的感兴趣区域对应关系，使用双线性内插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，以减少像素偏差。

步骤S16.5：基于感兴趣区域对应关系确定眼底图像中与特征感兴趣区域的对应感兴趣区域。

步骤S16.6：确定对应感兴趣区域为病灶。

可选地，本实施例中的病灶可以是视网膜、脉络膜、视神经及玻璃体的炎症、肿瘤及各类血管的病变。

步骤S18：通过糖尿病视网膜病变识别模型标注出病灶的类型、位置和形状中的至少一种。

请参考图4，图4为本申请实施例提供的一种病灶类型、位置和形状的识别步骤的流程示意图，该标注步骤可以如下：

步骤S18.1：获取特征感兴趣区域的分类结果、边框回归结果和掩模生成结果。

上述分类结果、边框回归结果和掩模生成结果均由糖尿病视网膜病变识别模型获得。

步骤S18.2：基于分类结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的类型。

针对糖尿病视网膜病变，病灶的类型可以包括视网膜血管壁受损、视网膜微血管瘤、视网膜硬性渗出物和视网膜出血等。

步骤S18.3：基于边框回归结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的位置。

可选地，可以将根据眼底图像的角或中心建立坐标系，采用坐标形式标注病灶的位置。

步骤S18.4：基于掩模生成结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的形状。

该形状标注就是在眼底图像中进行像素层面的前景(病灶)和背景的分割，从而用不同的颜色或边框将前景标注出来。

上述步骤S18.1-S18.4将病灶的类型、位置和形状都进行标注显示，从而方便相关人员进行准确的病灶判定，提高其判定准确性和效率。

作为一种的实施方式，请参考图5，图5为本申请实施例提供的一种包含诊疗建议生成的识别步骤的流程示意图。本实施例还可以结合上述病灶的类型、位置和形状以及医学诊断指南对糖尿病视网膜病变进行分期，并基于该分期结果生成具体的诊疗建议，进一步提高相关人员的诊疗效率和准确率。

其中，医学诊断指南可以是“我国糖尿病视网膜病变临床诊疗指南”等官方发布或权威方发布的可信资料。具体地，该“我国糖尿病视网膜病变临床诊疗指南”将糖尿病视网膜病变分为I～VI期，其中I期及以前无需转诊，II期及以后需要转诊。其中，Ⅰ期为视网膜有微动脉瘤或并有小出血点；Ⅱ期为视网膜有黄白“硬性渗出”或并有出血斑；Ⅲ期为视网膜有白色“软性渗出”或并有出血斑；Ⅳ期为视网膜有新生血管和/或玻璃体出血；Ⅴ期为视网膜有新生血管和纤维增殖；Ⅵ期为视网膜有新生血管和纤维增殖并发现网膜脱离。则本实施例在发现眼底图像中有属于II～VI期的病灶时，建议该患者转诊。

可选地，本实施例除了通过糖尿病视网膜病变识别模型确定糖尿病视网膜病变的病灶的类型、位置和形状，还可以计算出眼底图像中病灶的数量，并标注显示该数量。

为了配合实现上述糖尿病视网膜病变识别方法，本申请实施例还提供了一种糖尿病视网膜病变识别装置20。请参考图6，图6为本申请实施例提供的一种糖尿病视网膜病变识别装置的模块示意图。

糖尿病视网膜病变识别装置20包括：

采集模块21，用于采集待识别的眼底图像。

输入模块22，用于将眼底图像输入糖尿病视网膜病变识别模型，糖尿病视网膜病变识别模型基于实例分割模型训练获得。

模型识别模块23，用于通过糖尿病视网膜病变识别模型确定眼底图像中的病灶。

标注模块24，用于通过糖尿病视网膜病变识别模型标注出病灶的类型、位置和形状中的至少一种。

可选地，模型识别模块23包括：特征映射图确定单元，用于确定眼底图像的特征映射图；候选感兴趣区域确定单元，用于在特征映射图中确定候选感兴趣区域；过滤单元，用于通过区域生成网络基于二值分类和边框回归对候选感兴趣区域进行过滤，以获得特征感兴趣区域；对齐单元，用于对特征感兴趣区域进行感兴趣区域对齐操作，以获得眼底图像与特征映射图的感兴趣区域对应关系；对应区域确定单元，用于基于感兴趣区域对应关系确定眼底图像中与特征感兴趣区域的对应感兴趣区域；病灶确定单元，用于确定对应感兴趣区域为病灶。

可选地，过滤单元具体用于：基于特征金字塔网络获得眼底图像的特征金字塔，特征金字塔包括多层特征图像，不同层特征图像表征眼底图像不同尺度的特征；将基于特征金字塔生成的不同尺度的特征输入区域生成网络，以通过区域生成网络基于二值分类和边框回归对候选感兴趣区域进行过滤。

可选地，标注模块24包括：识别处理单元，用于获取特征感兴趣区域的分类结果、边框回归结果和掩模生成结果；类型确定单元，用于基于分类结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的类型；位置确定单元，用于基于边框回归结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的位置；形状确定单元，用于基于掩模生成结果以及感兴趣区域对应关系，在眼底图像中标注出病灶的形状。

可选地，输入模块22还用于：将眼底图像缩放至预设尺寸；候选感兴趣区域确定单元还用于采用与预设尺寸的眼底图像中最小病灶对应的最小尺寸锚点在特征映射图中确定候选感兴趣区域。

进一步地，过滤单元具体还用于：采用残差网络结构获得眼底图像的N个图层，N个图层从下层至上层尺寸逐渐变小；将第i个图层作为特征金字塔的第i层特征图像，N≥i≥2，且i的起始值为N；将第i-1个图层通过1×1卷积层后获得第i-1个图层的卷积特征图；将第i层特征图像的进行上采样得到的上采样结果和第i-1个图层的卷积特征图相加融合获得特征金字塔的第i-1层特征图像；令i＝i-1，并重复上述步骤将第i-1个图层通过1×1卷积层后获得第i-1个图层的卷积特征图至将第i层特征图像的进行上采样得到的上采样结果和第i-1个图层的卷积特征图相加融合获得特征金字塔的第i-1层特征图像的步骤，以获得特征金字塔的底层至第N层特征图像；对第N层特征图像进行下采样获得特征金字塔的第N+1层特征图像，对第N+1层特征图像进行下采样获得特征金字塔的第N+2层特征图像。

可选地，糖尿病视网膜病变识别装置20还可以包括诊疗建议模块，其用于基于病灶的类型、位置和形状，结合医学诊断指南对病变分期进行判定，并生成诊疗建议。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有程序指令，处理器读取并运行程序指令时，执行本实施例提供的糖尿病视网膜病变识别方法中任一项方法中的步骤。

应当理解是，该电子设备可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，可读取存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行糖尿病视网膜病变识别方法中的步骤。

综上所述，本申请实施例提供了一种糖尿病视网膜病变识别方法、装置及电子设备，所述方法包括：采集待识别的眼底图像；将眼底图像输入糖尿病视网膜病变识别模型，糖尿病视网膜病变识别模型基于实例分割模型训练获得；通过糖尿病视网膜病变识别模型确定眼底图像中的病灶；通过糖尿病视网膜病变识别模型标注出病灶的类型、位置和形状中的至少一种。

在上述实现方式中，通过基于实例分割模型训练获得的糖尿病视网膜病变识别模型完成对病灶的类型、位置和形状的识别，在提高了病灶识别准确率的同时，输出了该病灶的更为全面的相关信息，以协助相关人员对病灶进行更加准确、全面的分析判断。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种糖尿病视网膜病变识别方法，其特征在于，所述方法包括：

采集待识别的眼底图像；

将所述眼底图像输入糖尿病视网膜病变识别模型，所述糖尿病视网膜病变识别模型基于实例分割模型训练获得；

通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶；

通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶，包括：

确定所述眼底图像的特征映射图；

在所述特征映射图中确定候选感兴趣区域；

通过区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤，以获得特征感兴趣区域；

对所述特征感兴趣区域进行感兴趣区域对齐操作，以获得所述眼底图像与所述特征映射图的感兴趣区域对应关系；

基于所述感兴趣区域对应关系确定所述眼底图像中与所述特征感兴趣区域的对应感兴趣区域；

确定所述对应感兴趣区域为病灶。

3.根据权利要求2所述的方法，其特征在于，所述通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种，包括：

获取所述特征感兴趣区域的分类结果、边框回归结果和掩模生成结果；

基于所述分类结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的类型；

基于所述边框回归结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的位置；

基于所述掩模生成结果以及所述感兴趣区域对应关系，在所述眼底图像中标注出所述病灶的形状。

4.根据权利要求2所述的方法，其特征在于，在所述将所述眼底图像输入糖尿病视网膜病变识别模型之前，所述方法还包括：

将所述眼底图像缩放至预设尺寸；

所述在所述特征映射图中确定候选感兴趣区域，包括：

采用与所述预设尺寸的所述眼底图像中最小病灶对应的最小尺寸锚点在所述特征映射图中确定候选感兴趣区域。

5.根据权利要求2所述的方法，其特征在于，所述由区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤，包括：

基于特征金字塔网络获得所述眼底图像的特征金字塔，所述特征金字塔包括多层特征图像，不同层特征图像表征所述眼底图像不同尺度的特征；

将基于所述特征金字塔生成的不同尺度的特征输入所述区域生成网络，以通过所述区域生成网络基于二值分类和边框回归对所述候选感兴趣区域进行过滤。

6.根据权利要求5所述的方法，其特征在于，所述基于特征金字塔网络获得所述眼底图像的特征金字塔，包括：

采用残差网络结构获得所述眼底图像的N个图层，所述N个图层从下层至上层尺寸逐渐变小；

将第i个图层作为所述特征金字塔的第i层特征图像，N≥i≥2，且i的起始值为N；

将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图；

将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像；

令i＝i-1，并重复上述步骤所述将第i-1个图层通过1×1卷积层后获得所述第i-1个图层的卷积特征图至所述将所述第i层特征图像的进行上采样得到的上采样结果和所述第i-1个图层的卷积特征图相加融合获得所述特征金字塔的第i-1层特征图像的步骤，以获得所述特征金字塔的底层至第N层特征图像；

对所述第N层特征图像进行下采样获得所述特征金字塔的第N+1层特征图像，对所述第N+1层特征图像进行下采样获得所述特征金字塔的第N+2层特征图像。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述病灶的类型、位置和形状，结合医学诊断指南对病变分期进行判定，并生成诊疗建议。

8.一种糖尿病视网膜病变识别装置，其特征在于，所述装置包括：

采集模块，用于采集待识别的眼底图像；

输入模块，用于将所述眼底图像输入糖尿病视网膜病变识别模型，所述糖尿病视网膜病变识别模型基于实例分割模型训练获得；

模型识别模块，用于通过所述糖尿病视网膜病变识别模型确定所述眼底图像中的病灶；

标注模块，用于通过所述糖尿病视网膜病变识别模型标注出所述病灶的类型、位置和形状中的至少一种。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。

10.一种可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。