CN115588100A - 基于深度学习的豹纹斑自动分级方法、系统及设备 - Google Patents

基于深度学习的豹纹斑自动分级方法、系统及设备 Download PDF

Info

Publication number
CN115588100A
CN115588100A CN202211575578.0A CN202211575578A CN115588100A CN 115588100 A CN115588100 A CN 115588100A CN 202211575578 A CN202211575578 A CN 202211575578A CN 115588100 A CN115588100 A CN 115588100A
Authority
CN
China
Prior art keywords
leopard
streak
grade
central point
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211575578.0A
Other languages
English (en)
Other versions
CN115588100B (zh
Inventor
于晓光
杜政霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Puxi Gene Technology Co ltd
Original Assignee
Wenzhou Puxi Gene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Puxi Gene Technology Co ltd filed Critical Wenzhou Puxi Gene Technology Co ltd
Priority to CN202211575578.0A priority Critical patent/CN115588100B/zh
Publication of CN115588100A publication Critical patent/CN115588100A/zh
Application granted granted Critical
Publication of CN115588100B publication Critical patent/CN115588100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及基于深度学习的豹纹斑自动分级方法、系统及设备。包括：获取待处理眼底照；将待处理眼底照输入黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；然后对其进行等级划分，得到各个等级的感兴趣区域；再通过各个等级模型，得到各个等级的感兴趣区域的豹纹斑特征；再将得到的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。本发明方法旨在基于豹纹斑全局特征和深度学习算法进行豹纹斑严重程度的自动分级，发掘其在眼底照数据分析方面的自动预测能力和潜在应用价值。

Description

基于深度学习的豹纹斑自动分级方法、系统及设备
技术领域
本发明涉及视网膜眼底图像分析领域，更具体地，涉及一种基于深度学习的豹纹斑自动分级方法、系统、设备、计算机可读存储介质及其应用。
背景技术
豹纹斑的严重程度与屈光不正有密切关系，被认为是病理性近视早期的重要特征，此外有研究表明豹纹斑与眼轴长度以及脉络膜厚度紧密相关，豹纹斑越严重，患有脉络膜疾病的风险越大，甚至可能会造成严重的视力受损。因此评估豹纹斑严重程度对近视进展监控和病理性近视以及其他脉络膜疾病防控具有重要的临床意义。
目前对豹纹斑等级的评估主要依靠具有资深经历的临床医生根据患者眼底照主观判断，主要采用早期治疗糖尿病视网膜病变研究网格（ETDRS）对豹纹斑进行分级，现有技术采用较为简单的回归模型对豹纹斑主动分级，准确度最大的只有82.5%，准确度有待提高，且前期需要大量手工标注数据进行训练。近年来深度学习已经被应用于眼底图像识别、糖尿病性视网膜病变分类、老年性黄斑病变的分级以及病理性近视病灶分割等。因此，基于深度学习进行豹纹斑严重程度的自动分级具有重要的研究意义和潜在应用价值。
发明内容
本发明开发了一种自动化的分级算法，基于深度学习模型自动定位黄斑中央凹中心点，使用较少的标注眼底照对感兴趣区域进行等级划分，再综合判断所属豹纹斑分级，避免了人为判断时将注意力集中在某一区域而造成的主观性影响，而且考虑到了全局特征，旨在基于豹纹斑特征和深度学习算法发掘其在眼底照数据分析方面的自动分级能力和潜在应用价值。
本申请公开一种基于深度学习的豹纹斑自动分级方法，包括：
获取待处理眼底照；
将所述待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；
将所述黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域；所述等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的感兴趣区域；
将所述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征；
将所述各个等级的感兴趣区域的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。
进一步，所述获取待处理眼底照，包括对所述待处理眼底照进行预处理；
可选的，所述预处理包括水平翻转、垂直翻转、亮度调整、对比度调整、饱和度调整、颜色通道调整；
可选的，所述颜色通道调整包括对RGB三个通道的均值和方差分别设置为[0.485,0.456, 0.406],[ 0.229, 0.224,0.225]。
进一步，所述黄斑中央凹中心点定位模型，通过深度学习算法对标注好黄斑中央凹中心点的眼底照数据进行训练，再通过验证将准确率最高的模型作为最佳权重保存，得到训练好的黄斑中央凹中心点定位模型；
可选的，所述深度学习算法采用下列模型中的任一一种或几种：Unet+++、DeepLabv3+、SegNet、RefineNet、CSF-Net、Swin-Unet；
可选的，所述黄斑中央凹中心点定位模型的构建方法为：通过将标注黄斑中央凹中心点的眼底照作为训练集，采用损失函数为边界损失和焦点损失的Swin-Unet进行训练，将得到的中心点标记与标注好的中心点进行比对，生成损失值，反向传播优化模型，得到训练好的黄斑中央凹中心点定位模型；
可选的，所述眼底照数据包括IDRiD、Drishti、DRIVE和STARE数据集。
进一步，所述等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的关键区域，再通过掩码处理所述各个等级的关键区域，得到各个等级的感兴趣区域；
可选的，所述等级划分包括将所述黄斑中央凹中心点标记的眼底照划分为2~6个等级；
可选的，所述等级划分将所述黄斑中央凹中心点标记的眼底照划分为4个等级的关键区域，具体的，以定位的黄斑中央凹中心点为圆心分别做半径为1mm、3mm、6mm的圆，分别得到4个等级的关键区域，再通过掩码处理所述4个等级的关键区域，得到4个等级的感兴趣区域掩码图。
进一步，所述各等级模型采用多线程并行方式，先对所述各个等级的感兴趣区域掩码图进行归一化处理，再使用深度学习模型进行各个等级的感兴趣区域的豹纹斑特征学习；
可选的，所述各等级模型的网络结构包括卷积层、归一化层、子网络结构、池化层、下采样、线性分类层，所述池化层采用全局平均池化；
可选的，所述子网络结构包括卷积层、归一化层、激活层、扩展层、Drop Path正则化，所述Drop Path正则化通过概率P随机丢弃子网络结构中的部分分支以避免过拟合；可选的，所述激活层采用激活函数GELU；
再进一步，所述归一化处理包括将所述各个等级的感兴趣区域掩码图等比放大/缩小为224*224，同时转换为Tensor格式；
再进一步，所述深度学习模型采用下列模型中的一种或几种：ImageNet、EfficientNet、ShuffleNet、SENet、NFNet；
更进一步，所述深度学习模型基于所述各个等级的感兴趣区域特征构建。
可选的，所述深度学习模型的构建基于ImageNet的分类结果权重作为预训练权重进行超参学习，同时冻结模型的前面特征提取层，选取AdamW作为优化器，对所述各个等级的感兴趣区域进行学习并反向传播特征分类层，训练并得到各个等级的感兴趣区域的豹纹斑特征。
进一步，所述豹纹斑等级预测模型通过特征融合对所述各个等级的感兴趣区域的豹纹斑特征进行全局特征的整合和关键特征的主动学习，再将融合的全局特征输入到加权分类器，得到豹纹斑等级。
可选的，所述豹纹斑等级预测模型采用多通道卷积神经网络的构建方式，所述多通道卷积神经网络包括输入层、卷积层、拼接层、激活层、分类输出层。
更进一步，可选的，所述拼接层采用concate方式将所述各个等级的感兴趣区域的豹纹斑特征直接拼接。
本申请还公开了一种基于深度学习的豹纹斑自动分级系统，所述系统包括：
获取模块，用于获取待处理眼底照；
自动定位模块，用于将所述待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；
区域分割模块，用于将所述黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域；
特征提取模块，用于将所述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征；
输出模块，将所述各个等级的感兴趣区域的豹纹斑特征输入到豹纹斑等级预测模型，自动输出豹纹斑等级。
本申请还公开了一种基于深度学习的豹纹斑自动分级设备，主要包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时，用于执行实现上述基于深度学习的豹纹斑自动分级方法。
本申请还公开了一种计算机可读存储介质，其上存储有基于深度学习的豹纹斑自动分级的计算机程序，所述计算机程序被处理器执行时，实现上述基于深度学习的豹纹斑自动分级方法。
上述的设备或系统在对豹纹斑严重程度的智能分析中的应用；
上述的设备或系统在不同等级豹纹斑模型训练和自动划分等级的应用；
上述的设备或系统在自动定位黄斑中心凹中心点中的应用；可选的，所述自动定位包括通过深度学习算法对由医生标注好黄斑中央凹中心点的眼底照数据进行训练，再通过验证将准确率最高的模型作为最佳权重保存，得到训练好的黄斑中央凹中心点定位模型；
上述设备或系统在辅助研究早期治疗糖尿病视网膜病变的分析方案选择中的应用；可选的，分析包括豹纹版等级与眼轴长度以及脉络膜厚度的相关性，特别是对患有脉络膜疾病的风险预测的研究具有积极影响；
上述的设备或系统在预测眼疾病发生发展中的应用；可选的，所述预测包括对近视进展监控和病理性近视以及其他脉络膜疾病防控具有重要的临床意义和推动作用。
本发明基于训练好的黄斑中央凹中心点定位模型先自动定位黄斑中央凹中心点，然后分割感兴趣的各个等级区域，通过各等级模型提取豹纹斑特征，再通过豹纹斑等级预测模型融合豹纹斑全局特征预测豹纹斑等级，提高了预测准确度，克服了全凭经验对患者眼底照的主观判断和通过回归模型对豹纹斑的主动分级，具有很强的创新性，对眼底照数据的分析研究产生有益的推动作用。
本申请的优点：
1.本申请创新性的公开一种基于深度学习的豹纹斑自动分级方法，该方法基于黄斑中央凹中心点定位模型自动定位黄斑中央凹中心点，然后基于黄斑中央凹中心点标记的眼底照进行各个感兴趣区域的等级划分，通过融合各感兴趣区域的等级划分结果，综合预测得到待处理眼底照的豹纹斑严重程度（例如：0级、1级、2级、3级、4级），客观地提高了数据分析的精度和深度；
2.本申请创新性的基于各个等级划分的眼底照，通过少量标注的数据和迁移学习的方法，采用深度学习的算法构建并训练测试了各等级模型和豹纹斑等级预测模型，时效明显；
3.本申请创造性的公开了基于构建的各等级模型分别学习不同感兴趣区域的豹纹斑特征，再使用多通道卷积神经网络整合不同感兴趣区域学习到的豹纹斑特征，通过多分类模型整体判断豹纹斑等级，考虑了全局特征，避免了模型受到其他局部区域豹纹斑特征的影响，准确率大幅提升，鉴于豹纹斑的分级对近视进展监控和病理性近视以及其他脉络膜疾病防控具有重要的临床意义，使得本申请更准确的应用于与眼底照数据有关的疾病发生发展的辅助分析。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的基于深度学习的豹纹斑自动分级方法示意流程图；
图2是本发明实施例提供的基于早期治疗糖尿病视网膜病变研究网格的对眼底照感兴趣区域分级的示意图；
图3是本发明实施例提供的基于中心点标记的眼底照划分的关键区域掩码图；
图4是本发明实施例提供的各等级模型和豹纹斑等级预测模型网络结构图；
图5是本发明实施例提供的基于深度学习的豹纹斑等级预测流程图；
图6是本发明实施例提供的基于深度学习的各等级模型训练过程图；
图7是本发明实施例提供的基于深度学习的豹纹斑自动分级设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的基于深度学习的豹纹斑自动分级方法示意流程图，具体地，包括如下步骤：
S101：获取待处理眼底照。
在一个实施例中，待处理眼底照包括公开的包含黄斑中心凹中心点的IDRiD、Drishti、DRIVE和STARE数据集。
在一个具体的实施例中，步骤S101还包括对待处理眼底照进行预处理；
可选的，所述预处理包括水平翻转、垂直翻转、亮度调整、对比度调整、饱和度调整、颜色通道调整；
可选的，所述颜色通道调整包括对RGB三个通道的均值和方差分别设置为[0.485,0.456, 0.406]、[ 0.229, 0.224,0.225]。
S102：将待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照。
在一个实施例中，黄斑中央凹中心点标记的方法基于黄斑中央凹中心点定位模型，通过深度学习算法对标注好黄斑中央凹中心点的眼底照数据进行训练，再通过验证将准确率最高的模型作为最佳权重保存，得到训练好的黄斑中央凹中心点定位模型。
可选的，深度学习算法采用下列算法中的任一一种或几种：Unet+++、DeepLab v3+、SegNet、RefineNet、CSF-Net、Swin-Unet；
Unet+++中的每一个解码器层都融合了来自编码器中的小尺度和同尺度的特征图，以及来自解码器的大尺度的特征图，这些特征图捕获了全尺度下的细粒度语义和粗粒度语义。
Deeplab v3+是Deeplab系列的一个网络结构，是基于空洞卷积、编解码和多尺度系列模型的集大成者，同时是最常用的一个语义分割网络模型。
RefineNet模型通过ResNet进行下采样，通过一系列卷积、融合、池化，使得多尺度特征的融合更加深入，采用链式残余池化，使用不同尺寸的窗口池化，并且使用残余连接和可学习的权重将特征融合起来。
CSF-Net用于机载激光扫描点云语义标记的彩色光谱融合网络，通过加权交叉熵损失，以端到端的方式训练实现多模态融合网络的构建。
Swin-Unet，基于Swin Transformer block构建了一个具有跳跃连接的对称编码器-解码器体系结构，开发了patch扩展层，无需卷积或插值操作即可实现上采样和特征维数的增加，最终构建了一个纯基于Transformer的U型编解码结构。
在一个具体实施例中，黄斑中央凹中心点定位模型的构建为：通过将标注黄斑中央凹中心点的眼底照作为训练集，采用损失函数为边界损失和焦点损失的Swin-Unet对标注好黄斑中央凹中心点的数据进行训练，并将验证集上准确率最高的模型权重作为最佳权重保存，得到黄斑中央凹中心点定位模型；
可选的，眼底照数据包括专业医生标注的294张黄斑中心点眼底照作为黄斑中心点定位的数据集，其中训练集232张，验证集62张。
S103：将黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域。
图2采用早期治疗糖尿病视网膜病变研究网格（ETDRS）进行眼底照的感兴趣区域划分。其中，等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的感兴趣区域。具体的，以黄斑中心点为圆心分别做1mm、3mm、6mm的圆，根据豹纹斑存在的区域将一级定义为只有外圆以外存在豹纹斑；二级定义为中圆以外存在豹纹斑；三级定义为内圆以外存在豹纹斑；四级定义为整个眼底包括内圆以内都存在豹纹斑。
在一个实施例中，等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的关键区域，再通过掩码处理，得到各个等级的感兴趣区域掩码图。基于ETDRS分级标准，可选的，等级划分包括将黄斑中央凹中心点标记的眼底照自动划分为2~6个等级。
可选的，所述等级划分将所述黄斑中央凹中心点标记的眼底照划分为4个等级的关键区域，具体的，以自动定位的黄斑中央凹中心点为圆心分别做半径为1mm、3mm、6mm的圆，分别得到4个等级的关键区域，再通过掩码处理所述4个等级的关键区域，得到4个等级的感兴趣区域掩码图。
具体的，4个等级的关键区域的划分如图3所示：ROI1级为外圆以外区域，ROI2级为外圆与中圆之间的环形区域，ROI3级为中圆与内圆之间的环形区域，ROI4级为内圆以内区域，其中，外圆、中圆、内圆分别表示的是以自动定位的黄斑中央凹中心点为圆心半径分别为1mm、3mm、6mm的圆。
S104：将所述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征。
在一个实施例中，各等级模型的网络结构采用多线程并行方式，先对所述各个等级的感兴趣区域掩码图进行归一化处理，再使用深度学习模型进行各个等级的感兴趣区域的豹纹斑特征学习。
可选的，所述深度学习模型采用下列模型中的任一一种或几种：ImageNet、EfficientNet、ShuffleNet、SENet、NFNet。
具体的，各等级模型的网络结构包括卷积层、归一化层、子网络结构、池化层、下采样、线性分类层。
在一个具体实施例中，各等级模型网络结构如图4所示，将各个等级的感兴趣区域掩码图等比放大/缩小为224*224，同时转换为Tensor格式，再输入到网络中，具体的卷积层采用Cov2d，步长为4，池化层采用全局平均池化，子网络结构采用Depthwise Conv轻量级卷积、归一化层、激活层采用高斯误差线性单元激活函数、扩展层、Drop Path正则化，其中，Drop Path正则化以概率P随机丢弃子网络结构中的部分分支。
更为详细的，各等级模型构建过程：
（1）根据上述对豹纹斑不同等级感兴趣区域的定义，将不同等级的训练数据进行掩码处理后，得到0级，1级，2级，3级和4级豹纹斑各200张，将图片进行8:2分为训练集和验证集；
（2）在如图4所示的各等级模型的训练过程前，为了增强模型的泛化性，将训练集图片进行了如下的数据增强：
a.将图片以50%的概率进行水平翻转；
b.将图片以50%的概率进行垂直翻转；
c.将图片的亮度、对比度和饱和度进行调整；
（3）为了在模型中便于计算，将各个等级的图像等比放大/缩小为224*224，并转换为Tensor格式；
（4）为了避免图片数据具有偏向性，将数据进行归一化处理，其中三个通道的均值和方差分别设置为[0.485, 0.456, 0.406],[ 0.229, 0.224,0.225]；
（5）为了降低时间成本，采用多线程并行，其中线程数设置为8；
（6）对不同等级模型，使用各等级模型（对应的模型结构如图4所示），使用ImageNet的分类结果权重作为预训练权重，为了提高模型的训练效率，冻结模型的前面特征提取层，学习并反向传播特征分类层；
（7）在模型的训练过程中，为了增强模型的泛化性，将权重衰减设置为1e-2，batch_size设置为128，使用AdamW作为优化器，学习率起初设置为5e-5，之后根据损失的大小，对学习率进行自调整。其中，batch_size表示分批学习时单个批次的样本数。
如图6是基于深度学习的各等级模型训练过程图，具体展示了基于1级、2级、3级和4级感兴趣区域这4个等级模型的训练和验证效果。基于深度学习等级模型对1级感兴趣区域进行了训练和验证，统计了训练周期迭代总周期次数200的损失情况和准确度情况，训练时的损失在刚训练学习（前八次迭代周期）时较大，整体较验证时的损失更为平稳，验证损失在训练周期次数为120后的损失较小，训练时的准确度较高，验证的准确度较训练时的准确度略低，验证准确度较高。同理，基于深度学习等级模型对2级感兴趣区域进行训练和验证，其训练和验证的准确度相当，验证损失值较训练损失值略有小波动，但整体趋于平稳；基于深度学习等级模型对3级感兴趣区域进行训练和验证，其训练和验证的准确度相当，验证损失值较训练损失值略有波动，特别是在第106次迭代周期之后趋于平稳；基于深度学习等级模型对4级感兴趣区域进行训练和验证，其验证的准确度较训练时的准确度略低，但整体准确度较高且趋于平稳，验证损失值较训练损失值略有波动，特别是验证损失在训练周期次数为100后的损失趋于平稳。从整体来看，基于深度学习的各等级模型准确度较高。
S105：将各个等级的感兴趣区域的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。
在一个实施例中，豹纹斑等级预测模型通过特征融合对所述各个等级的感兴趣区域的豹纹斑特征进行全局特征的整合和关键特征的主动学习，再将融合的全局特征输入到加权分类器，得到豹纹斑等级。
如图4所示的豹纹斑等级预测模型网络结构图，是将上述4个等级模型分别得到的四个感兴趣区域的豹纹斑特征，经过多通道卷积神经网络整合得到豹纹斑的最终等级，即直接出图片所属等级，对应于图4上这种结果展示方式。如图4所示的具体的，多通道卷积神经网络包括输入层、卷积层、拼接层、激活层、分类输出层；其中，拼接层采用concate方式将所述各个等级的感兴趣区域的豹纹斑特征直接拼接。采取的具体策略如下：
（1）训练并学习四个等级豹纹斑的关键特征，在验证集上的准确率作为模型效能的衡量指标，验证集上准确率最高的模型权重作为最佳权重保存；
（2）为了避免模型过拟合的同时增加时间效率，增加了早停策略，即如果数据在验证集上的准确率和损失在20个训练周期都没有改变，则保存现有最佳权重，模型停止训练阶段；
（3）使用四个训练好的模型，对于一张图片利用四个模型分别得到四个感兴趣区域的豹纹斑特征，利用卷积神经网络将四个区域豹纹斑的特征整合后对豹纹斑进行分类。
在一个具体的实施例中，基于医生根据上述图2所示的判定方法标注好的1000张眼底照作为豹纹斑等级预测模型的训练集和验证集。
将上述方法用于眼底照图像处理中，得到如图5所示的豹纹斑等级预测流程图，可以直接定位黄斑中央凹中心点并预测出该眼底照中豹纹斑的严重等级。在图5中，第一部分表示的是输入任意一张眼底照片，使用上述训练好的黄斑中央凹中心点定位模型（主要由编码器和解码器构成）确定黄斑中央凹中心点，以此为圆心分别将图片掩码成4个等级区域的图片形式；再将其输入第二部分中，即将四个掩码后的图片分别输入各等级模型，得到不同等级区域的豹纹斑特征（如图5所示的区域特征1、区域特征2、区域特征3、区域特征4）；然后再将不同等级区域得到的豹纹斑特征输入到豹纹斑等级预测模型进行特征融合和等级划分，如图5中第三部分所示，整合得到全局的豹纹斑特征后，将根据全局特征预测豹纹斑等级：0级、1级、2级、3级、4级。基于不同等级的关键区域的豹纹斑等级自动划分可以自动且准确标注黄斑中心点，也可以自动根据眼底照片对豹纹斑进行分级，使得本申请在应用于与眼底照数据有关的疾病发生发展的辅助分析方面更有利。
本发明实施例提供的基于深度学习的豹纹斑自动分级系统，包括：
获取模块，用于获取待处理眼底照；
自动定位模块，用于将待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；
区域分割模块，用于将黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域；
特征提取模块，用于将上述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征；
输出模块，用于将各个等级的感兴趣区域的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。
图7是本发明实施例提供的一种基于深度学习的豹纹斑自动分级设备，包括：存储器和处理器；该设备还可以包括：输入装置和输出装置。
存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接，图7所示的以总线连接方式为例；
存储器用于存储程序指令；
处理器用于调用程序指令，当程序指令被执行时，用于执行上述基于深度学习的豹纹斑自动分级方法。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述基于深度学习的豹纹斑自动分级方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。具体的，根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成模块既可以采用硬件形式实现，也可以采用软件功能模块的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.基于深度学习的豹纹斑自动分级方法，包括：
获取待处理眼底照；
将所述待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；
将所述黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域；所述等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的感兴趣区域；
将所述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征；
将所述各个等级的感兴趣区域的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。
2.根据权利要求1所述的基于深度学习的豹纹斑自动分级方法，其特征在于，
所述等级划分包括将所述黄斑中央凹中心点标记的眼底照划分为4个等级的关键区域，具体的，以定位的黄斑中央凹中心点为圆心分别做半径为1mm、3mm、6mm的圆，分别得到4个等级的关键区域，再通过掩码处理所述4个等级的关键区域，得到4个等级的感兴趣区域掩码图。
3.根据权利要求1所述的基于深度学习的豹纹斑自动分级方法，其特征在于，所述黄斑中央凹中心点定位模型的构建方法为：通过将标注黄斑中央凹中心点的眼底照作为训练集，采用损失函数为边界损失和焦点损失的Swin-Unet进行训练，将得到的中心点标记与标注好的中心点进行比对，生成损失值，反向传播优化模型，得到训练好的黄斑中央凹中心点定位模型。
4.根据权利要求1所述的基于深度学习的豹纹斑自动分级方法，其特征在于，所述各等级模型的网络结构采用多线程并行方式，先对所述各个等级的感兴趣区域掩码图进行归一化处理，再使用深度学习模型进行各个等级的感兴趣区域的豹纹斑特征学习。
5.根据权利要求4所述的基于深度学习的豹纹斑自动分级方法，其特征在于，
所述深度学习模型的构建基于ImageNet的分类结果权重作为预训练权重进行超参学习，同时冻结模型的前面特征提取层，选取AdamW作为优化器，对所述各个等级的感兴趣区域掩码图进行学习并反向传播特征分类层，训练并得到各个等级的感兴趣区域的豹纹斑特征。
6.根据权利要求1所述的基于深度学习的豹纹斑自动分级方法，其特征在于，所述豹纹斑等级预测模型采用多通道卷积神经网络的构建方式，所述多通道卷积神经网络包括输入层、卷积层、拼接层、激活层、分类输出层；具体的，所述拼接层采用concate方式将所述各个等级的感兴趣区域的豹纹斑特征直接拼接，可选的，所述豹纹斑等级预测模型通过特征融合对所述各个等级的感兴趣区域的豹纹斑特征进行全局特征的整合和关键特征的主动学习，得到融合的特征，再将融合的特征输入到加权分类器，得到豹纹斑等级。
7.根据权利要求1所述的基于深度学习的豹纹斑自动分级方法，其特征在于，所述各等级模型的网络结构包括卷积层、归一化层、子网络结构、池化层、下采样、线性分类层，所述池化层采用全局平均池化；其中，所述子网络结构包括卷积层、归一化层、激活层、扩展层、Drop Path正则化，所述激活层采用高斯误差线性单元这一激活函数。
8.一种基于深度学习的豹纹斑自动分级系统，其特征在于，所述系统包括：
获取模块，用于获取待处理眼底照；
自动定位模块，用于将所述待处理眼底照输入到黄斑中央凹中心点定位模型，得到黄斑中央凹中心点标记的眼底照；
区域分割模块，用于将所述黄斑中央凹中心点标记的眼底照进行等级划分，得到各个等级的感兴趣区域；所述等级划分是以定位的黄斑中央凹中心点为圆心分别对眼底照做不同半径大小的圆，分别得到各个等级的感兴趣区域；
特征提取模块，用于将所述各个等级的感兴趣区域输入到各等级模型，得到各个等级的感兴趣区域的豹纹斑特征；
输出模块，将所述各个等级的感兴趣区域的豹纹斑特征输入豹纹斑等级预测模型，自动输出豹纹斑等级。
9.一种基于深度学习的豹纹斑自动分级设备，其特征在于，所述设备包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时，用于执行实现权利要求1-7任意一项所述的基于深度学习的豹纹斑自动分级方法。
10.一种计算机可读存储介质，其上存储有基于深度学习的豹纹斑自动分级的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-7任意一项所述的基于深度学习的豹纹斑自动分级方法。
CN202211575578.0A 2022-12-09 2022-12-09 基于深度学习的豹纹斑自动分级方法、系统及设备 Active CN115588100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211575578.0A CN115588100B (zh) 2022-12-09 2022-12-09 基于深度学习的豹纹斑自动分级方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211575578.0A CN115588100B (zh) 2022-12-09 2022-12-09 基于深度学习的豹纹斑自动分级方法、系统及设备

Publications (2)

Publication Number Publication Date
CN115588100A true CN115588100A (zh) 2023-01-10
CN115588100B CN115588100B (zh) 2023-03-14

Family

ID=84782969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211575578.0A Active CN115588100B (zh) 2022-12-09 2022-12-09 基于深度学习的豹纹斑自动分级方法、系统及设备

Country Status (1)

Country Link
CN (1) CN115588100B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200202529A1 (en) * 2018-12-21 2020-06-25 Welch Allyn, Inc. Assessment of fundus images
CN112883962A (zh) * 2021-01-29 2021-06-01 北京百度网讯科技有限公司 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113793275A (zh) * 2021-08-27 2021-12-14 西安理工大学 一种Swin Unet低照度图像增强方法
CN114529535A (zh) * 2022-02-22 2022-05-24 平安科技（深圳）有限公司 眼底豹纹图像分割方法、计算机及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200202529A1 (en) * 2018-12-21 2020-06-25 Welch Allyn, Inc. Assessment of fundus images
CN112883962A (zh) * 2021-01-29 2021-06-01 北京百度网讯科技有限公司 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113793275A (zh) * 2021-08-27 2021-12-14 西安理工大学 一种Swin Unet低照度图像增强方法
CN114529535A (zh) * 2022-02-22 2022-05-24 平安科技（深圳）有限公司 眼底豹纹图像分割方法、计算机及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEI ZHANG，AND ETC: "A transformer-based framework for automatic COVID19 diagnosis in chest CTs", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)》 *
熊荔等: "彩色盘周眼底图的豹纹状眼底自动分级算法", 《计算机辅助设计与图形学学报》 *

Also Published As

Publication number Publication date
CN115588100B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110992382B (zh) 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
EP3659067B1 (en) Method of modifying a retina fundus image for a deep learning model
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112545452B (zh) 高度近视眼底病变图像识别装置
CN109635862A (zh) 早产儿视网膜病plus病变分类方法
CN111986211A (zh) 一种基于深度学习的眼科超声自动筛查方法及系统
CN113768460B (zh) 一种眼底图像分析系统、方法以及电子设备
CN110013216B (zh) 一种人工智能白内障分析系统
Khandouzi et al. Retinal vessel segmentation, a review of classic and deep methods
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
Sable et al. Network for Cross-Disease Attention to the Severity of Diabetic Macular Edema and Joint Retinopathy
Wu et al. Deep learning-based risk classification and auxiliary diagnosis of macular edema
CN115409764B (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Singh et al. A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images
Shelar et al. Detection of diabetic retinopathy and its classification from the fundus images
CN113610842A (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
CN115588100B (zh) 基于深度学习的豹纹斑自动分级方法、系统及设备
Triyadi et al. Deep learning in image classification using vgg-19 and residual networks for cataract detection
Thanh et al. A Real-Time Classification Of Glaucoma from Retinal Fundus Images Using AI Technology
CN114998300A (zh) 一种基于多尺度信息融合网络的角膜溃疡分类方法
CN113273959A (zh) 一种便携式糖尿病视网膜病变诊疗仪
Smits et al. Machine learning in the detection of the glaucomatous disc and visual field
Chowdhury et al. Transfer learning approach for diabetic retinopathy detection using efficient network with 2 phase training
CN113854957A (zh) 一种基于眼部图像的人工智能屈光度精准测量方法
Mampitiya et al. An efficient ocular disease recognition system implementation using GLCM and LBP based multilayer perception algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant