CN116503639A - 一种视网膜oct图像病变多标签分类系统和方法 - Google Patents

一种视网膜oct图像病变多标签分类系统和方法 Download PDF

Info

Publication number
CN116503639A
CN116503639A CN202310240656.XA CN202310240656A CN116503639A CN 116503639 A CN116503639 A CN 116503639A CN 202310240656 A CN202310240656 A CN 202310240656A CN 116503639 A CN116503639 A CN 116503639A
Authority
CN
China
Prior art keywords
matrix
result
convolution
retina
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310240656.XA
Other languages
English (en)
Inventor
陈新建
刘铭
朱伟芳
石霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202310240656.XA priority Critical patent/CN116503639A/zh
Publication of CN116503639A publication Critical patent/CN116503639A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种视网膜OCT图像病变多标签分类系统和方法，系统包括：获取模块：用于获取视网膜OCT图像；第一融合模块：用于提取视网膜OCT图像的深层特征图，同时将深层特征提取过程中输出的特征与深层特征图进行融合，得到图像特征图；拼接模块：用于提取两张视网膜OCT图像的浅层特征，并将包括局部目标信息的浅层特征与图像特征图进行拼接，得到拼接特征；第二融合模块：用于构建输入数据并输入图卷积神经网络，得到向量矩阵，再将向量矩阵和拼接特征进行融合得到输出结果；分类模块：用于根据输出结果对视网膜OCT图像的各种疾病进行分类。本发明能够对视网膜OCT图像的特征进行有效提取，并能对各种视网膜疾病进行分类。

Description

一种视网膜OCT图像病变多标签分类系统和方法
技术领域
本发明涉及图像识别技术领域，尤其是指一种视网膜OCT图像病变多标签分类系统和方法。
背景技术
视网膜疾病正作为目前我国最主要的致盲性疾病，如糖尿病视网膜病变、黄斑变性或裂孔、视网膜色素变性等，多种视网膜疾病可能同时出现，和普通眼病不同，视网膜疾病不可逆。光学相干断层扫描成像(Optical Coherence Tomography,OCT)因具有高分辨率、无损伤等特点，已经逐渐成为眼底疾病诊断的金标准。基于传统的机器学习对视网膜OCT图像进行分类是常用的方法之一，如逻辑回归、支持向量机以及随机森林等，但这需要大量的先验知识以手工设计具有泛化性的特征。随着深度神经网络以及硬件技术的发展，卷积神经网络以其自动学习深层次图像特征的优点，成为图像分类的主流。其中，VGGNet加深了深度学习网络深度，GoogLeNet从模型广度进行思考，其中的Inception结构包括不同尺寸的卷积核，融合了图像多尺度特征。里程碑意义的ResNet提出了残差块结构解决了网络深度过深而性能退化的问题，DenseNet在此基础上提出密集连接块有更好的性能。
现有技术中，文献Gulshan V,Peng L,Coram M,et al.“Development andValidation of a Deep Learning Algorithm for Detection of Diabetic Retinopathyin Retinal Fundus Photographs”Jama(2016)利用卷积神经网络对糖尿病视网膜病变的眼底彩照进行分类，文献Cecilia,S,Lee,et al.“Deep Learning Is Effective forClassifying Normal versus Age-Related Macular Degeneration OCT Images”Ophthalmology Retina (2017)使用卷积神经网络区分AMD患者的OCT影像，但这些网络仅对部分疾病进行二分类，难以达到眼底疾病筛查的目标。文献Junjun He,Cheng Li,JinYe,Yu Qiao,Lixu Gu,“Multi-label ocular disease classification with a densecorrelation deep neural network”,Biomedical Signal Processing and Control,63,102167(2021)利用带注意力机制的卷积神经网络对眼底彩照进行了多病种的多标签分类，但缺乏构建长距离信息的关联性。随着Transformer结构在计算机视觉领域的发展，卷积神经网络结合自注意力模块可更好地提取图像特征，从而提高分类准确率。但这些方法都没有考虑到标签之间的关联性。
虽然普通的卷积神经网络可以实现较为先进的分类结果，但存在以下问题：(1)通过卷积池化运算可以扩大感受野，但无法建立全局联系，不足以充分利用上下文信息实现精确预测；(2)深层与浅层信息联系不够紧密，浅层信息更多包涵局部信息，深层信息往往更抽象复杂，仅通过深层特征输入分类器往往会忽略病灶较小的疾病；(3)有些视网膜疾病可能存在并发症，如患有老年性黄斑变性的患者可能同时存在玻璃膜疣和渗出等，现有卷积神经网络无法构建疾病标签相关性。这些问题导致对视网膜OCT图像中的各种疾病分类不准确。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中对视网膜OCT图像未建立全局联系、忽略病灶较小的疾病、忽略视网膜不同疾病之间关联性，从而导致对视网膜OCT图像中的疾病分类不准确的问题。
为解决上述技术问题，本发明提供了一种视网膜OCT图像病变多标签分类系统，包括：
获取模块：用于获取同一被检测者的两张视网膜OCT图像；
第一融合模块：用于提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
拼接模块：用于提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
第二融合模块：用于基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
分类模块：用于根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
在本发明的一个实施例中，所述第一融合模块中提取所述两张视网膜OCT图像的深层特征，得到深层特征图，具体为：通过依次连接的卷积单元、第一密集连接块、第二密集连接块、第三密集连接块和第四密集连接块提取所述两张视网膜OCT图像的深层特征，得到深层特征图；
其中，所述卷积单元包括依次连接的卷积层、批归一化层和RELU激活层；所述第一密集连接块包括执行6次的1×1卷积和3×3卷积；所述第二密集连接块包括执行12次的1×1卷积和3×3卷积；所述第三密集连接块包括执行24次的1×1卷积和3×3卷积；所述第四密集连接块包括执行16次的1×1卷积和3×3卷积。
在本发明的一个实施例中，所述第一融合模块中将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图，具体为：
将所述卷积单元、第一密集连接块、第二密集连接块的输出均依次通过下采样和1×1卷积的结果，与所述第三密集连接块的输出通过1×1卷积的结果进行矩阵相加，得到第一矩阵相加结果，再将所述第一矩阵相加结果进行1×1卷积得到Query矩阵，并修改所述Query矩阵的尺寸；
将所述第四密集连接块的输出进行升维，并将升维后的结果按通道拆分得到初始Key矩阵、初始Val ue矩阵和原视觉特征矩阵Fsplit，将所述初始Key矩阵和初始Val ue矩阵分别进行1×1卷积得到Key矩阵和Val ue矩阵，并修改所述Key矩阵的尺寸；
将修改尺寸后的Query矩阵和修改尺寸后的Key矩阵进行矩阵乘法，得到第一矩阵乘法结果、并通过softmax激活提取所述第一矩阵乘法结果的权重特征矩阵W，将所述权重特征矩阵W与所述Val ue矩阵进行矩阵乘法，得到第二矩阵乘法结果，并对所述第二矩阵乘法结果修改尺寸并进行1×1卷积后再与所述原视觉特征矩阵Fsplit进行矩阵相加，得到第二矩阵相加结果，其中，所述第二矩阵相加结果为图像特征图。
在本发明的一个实施例中，所述拼接模块中提取所述两张视网膜OCT图像的浅层特征，具体为：
分别提取所述第一密集连接块、第二密集连接块、第三密集连接块输出的特征，将输出的三个特征分别划分为不重叠的图像块；
沿通道维度分别将三个特征对应的图像块进行堆叠，通过1×1卷积将三个堆叠后的图像块均缩放成一维度特征，再将三个一维度特征各自进行全局平均池化的结果与全局最大池化的结果进行矩阵相加，得到第三矩阵相加结果、第四矩阵相加结果和第五矩阵相加结果；
将所述第三矩阵相加结果、第四矩阵相加结果和第五矩阵相加结果分别通过两层全连接层与ReLU激活层融合为三个子向量，最后将三个子向量按通道拼接成一个向量输出，其中，所述向量输出为包括局部目标信息的浅层特征。
在本发明的一个实施例中，所述第二融合模块中基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果，具体为：
将视网膜不同疾病标签输入词向量模型，构建初始图结构,同时基于视网膜不同疾病标签两两出现的频率构建邻接矩阵；
将所述初始图结构和邻接矩阵作为输入数据同时输入图卷积神经网络，得到向量矩阵；
将所述拼接特征输入全连接层，得到全连接后的结果，再将所述全连接后的结果与转置后的向量矩阵进行矩阵乘法，得到第三矩阵乘法结果，再将所述第三矩阵乘法结果与所述全连接后的结果按通道拼接，得到输出结果。
在本发明的一个实施例中，所述邻接矩阵A中的元素Aij满足公式：
Aij＝Mij/Ni
其中，邻接矩阵A满足A＝A+I，A～表示将邻接矩阵A对角元素置为1的矩阵，I表示单位矩阵，Mij表示疾病标签li和疾病标签lj同时出现的次数，Ni表示每个疾病标签出现的总次数。
在本发明的一个实施例中，：还包括优化模块：用于根据分类模块的得到的分类结果，来优化第一融合模块、拼接模块和第二融合模块的过程，公式为：
其中，C表示疾病标签个数，pi表示视网膜OCT图像中出现疾病标签li的概率，yi∈{0,1}为真实类别标签，当yi＝0时，表示视网膜OCT图像中不存在疾病标签li；当yi＝1时，表示视网膜OCT图像中存在疾病标签li。
为解决上述技术问题，本发明提供了一种视网膜OCT图像病变多标签分类方法，包括：
步骤S1：获取同一被检测者的两张视网膜OCT图像；
步骤S2：提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
步骤S3：提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
步骤S4：基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
步骤S5：根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
为解决上述技术问题，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述视网膜OCT图像病变多标签分类方法的步骤。
为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述视网膜OCT图像病变多标签分类方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的IAF-MCNet网络共设计了三个模块，多阶段自注意力融合模块(MSFM)在特征提取器底部融合多阶段特征，感知不同像素之间的依赖关系；局部目标感知模块(LOAM)切分浅层特征向量，识别出浅层的局部目标并与深层特征拼接融合，以增强感知小目标特征的能力；图卷积标签内联模块(GLAM)使用视网膜疾病标签的共现概率矩阵作为邻接矩阵，构建不同疾病标签间内在联系；通过三个模块的设计能够有效提取出视网膜OCT图像中的各种特征信息，为后续视网膜疾病的分类提供可靠支撑；
本发明具有较强的实用性和通用性，其分类结果也可作为医生眼底疾病诊断的参考，减少了医生阅片的负担，提高了病变分类的准确性和效率，同时也可以为基层社区的眼底疾病筛查提供帮助。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的流程图；
图2是本发明实施例中IAF-MCNet网络的整体结构示意图；
图3是本发明实施例中多阶段自注意力融合模块(MSFM)结构示意图；
图4是本发明实施例中局部目标感知模块(LOAM)结构示意图；
图5是本发明实施例中图卷积标签内联模块(GLAM)结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明提供一种视网膜OCT图像病变多标签分类系统，包括：
获取模块：用于获取同一被检测者的两张视网膜OCT图像；
第一融合模块：用于提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
拼接模块：用于提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
第二融合模块：用于基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
分类模块：用于根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
请参阅图2，本实施例基于卷积神经网络、注意力机制以及图卷积结构设计了一种信息内联融合的多标签分类网络(Information Associated Fusion Multi-labelClassification Network,IAF-MCNet)，以同一被检测者的两张视网膜OCT图像(即B-scan图像)作为输入，对视网膜的11种疾病标签进行分类(若标签均为0，则为正常图像)。为便于理解与描述，IAF-MCNet网络共设计了三个网络模块，多阶段自注意力融合模块(MSFM)在特征提取器底部融合多阶段特征，感知不同像素之间的依赖关系，MSFM对应第一融合模块；局部目标感知模块(LOAM)切分浅层特征向量，识别出浅层的局部目标并与深层特征拼接融合，以增强感知小目标特征的能力，LOAM对应拼接模块；图卷积标签内联模块(GLAM)使用视网膜疾病标签的共现概率矩阵作为邻接矩阵，构建不同疾病标签间内在联系，GLAM对应第二融合模块。最后由全连接层当作分类器对视网膜OCT图像的11种疾病标签进行分类。
以下对本实施例进行详细介绍：
本实施例IAF-MCNet网络用于视网膜OCT图像的疾病分类，通过获取模块获取两张视网膜OCT图像(即B-scan图像)作为网络输入，预测11种疾病标签(若标签均为0，则为正常图像)。本实施例分别从长距离关联性、深浅层特征融合以及标签间的内在关系出发，强化了特征、标签信息内在联系融合的能力。具体地，IAF-MCNet网络结构如图2所示，在第一融合模块中，特征提取器采用基于ImageNet预训练的Densenet121作为主干网络，去除了最后的全局池化和全连接层。Densenet121采用的密集连接块减少网络参数并能提高特征传播及利用效率，并缓解梯度消失的问题，其一共包括5个阶段：第0阶段为卷积单元(包括步长为2的一个7×7卷积、批归一化层和Relu激活层)；第1-4阶段的密集连接块分别包含6、12、24、16个瓶颈结构(1×1卷积，3×3卷积)，即第一密集连接块包括执行6次的1×1卷积和3×3卷积，第二密集连接块包括执行12次的1×1卷积和3×3卷积，第三密集连接块包括执行24次的1×1卷积和3×3卷积，第四密集连接块包括执行16次的1×1卷积和3×3卷积。每个阶段下采样一次、通道数增大一倍。Densenet121共下采样5次，输出通道数分别为64、128、256、512、1024，按分辨率由高到低标记为0-4层级，共5级特征图。
(a)多阶段自注意力融合模块(MSFM)
请参阅图3，在第一融合模块中，由于卷积神经网络越深，提取的特征越重要，语义更加丰富，此处将阶段4的特征图(即第四密集连接块的输出)经过两层全连接层与ReLU激活层构成的多层感知机进行升维，通道数变为原来的3倍，将升维的新特征图按通道拆分得到初始Key矩阵、初始Value矩阵，分别进行1×1卷积运算构建Key矩阵(键矩阵)和Value矩阵(值矩阵)，将Key矩阵经修改尺寸后以便进行矩阵相乘计算相关度，同时升维的新特征图按通道拆分后还得到原视觉特征矩阵Fsplit。将阶段0-2的特征图(即卷积单元、第一密集连接块、第二密集连接块的输出)均进行下采样和1×1卷积，将阶段3(即第三密集连接块的输出)的特征图进行1×1卷积，将上述阶段0-2和阶段3得到的结果按元素相加并经过1×1卷积，得到Query矩阵(查询矩阵)，并修改Query矩阵尺寸，此处融合了浅层信息，增强对细节特征的关注和理解。将修改尺寸后的Query矩阵和修改尺寸后的Key矩阵进行矩阵乘法，通过softmax激活提取矩阵乘法后的权重特征矩阵W，将权重特征矩阵W与Value矩阵相乘，并对相乘结果修改尺寸后进行1×1卷积运算再和原视觉特征矩阵Fsplit相加得到输出，两张OCT图像经过MSFM的输出结果相加即为图2中的图像特征图。该部分类似于ResNet中的残差连接，使得网络更容易优化，公式化表示如下：
W＝softmax(KQT)
其中，表示MSFM输出结果，两张OCT图像经过MSFM的输出结果相加即图2中的图像特征图，T表示转置，conv表示卷积。
(b)局部目标感知模块(LOAM)
请参阅图4，在拼接模块中(也就是LOAM模块)，主要针对阶段1-3输出的浅层信息，将多尺度特征图(即第一密集连接块、第二密集连接块、第三密集连接块输出的浅层信息)分别划分为不重叠的图像块，并沿通道维度将图像块进行堆叠，通过1×1卷积将其缩放成一维度特征以融合各图像块信息，再将三个一维度特征各自进行全局平均池化的结果与全局最大池化的结果进行矩阵相加，然后通过两层全连接层与ReLU激活层构成的多层感知机融合为三个子向量，最后将三个子向量按通道拼接成一个向量输出，其中，向量输出为包括局部目标信息的浅层特征。本实施例的LOAM模块可以看作是一个基于注意力的图像块提取器，它可以感知对应细小病灶的特征块，融合局部信息和全局信息，以提高疾病诊断准确率和召回率。
将LOAM的输出(即第一密集连接块、第二密集连接块、第三密集连接块输出的浅层特征的局部目标)与MSFM输出的图像特征图进行拼接(CAT)，得到拼接特征。以上两个模块(MSFM和LOAM)可以提高网络的表征学习能力，将深层浅层特征信息融合交互。
(c)图卷积标签内联模块(GLAM)
请参阅图5，通过观察数据集发现，有些疾病标签会成对出现，并且与有些视网膜疾病的并发症相关，而有些疾病标签间关联较少，因此构建图卷积标签内联模块(GLAM)寻找标签间的关系，GLAM模块即第二融合模块。图卷积神经网络需构建初始图结构和邻接矩阵。本实施例以标签向量化的方式构建初始图结构，使用基于维基百科数据训练的GloVe模型(一种典型的词向量模型)，将疾病标签单词进行矢量表示构建距离关系。
具体地，在第二融合模块中，将视网膜不同疾病标签输入GloVe模型，构建初始图结构,同时基于视网膜不同疾病标签两两出现的频率构建邻接矩阵；将构建好的初始图结构和邻接矩阵输入图卷积神经网络(GCN)，得到向量矩阵；将上述拼接(CAT)得到的拼接矩阵输入全连接层，得到全连接后的结果，再将所述全连接后的结果与转置后的向量矩阵进行矩阵相乘，再将该相乘结果与所述全连接后的结果按通道拼接，得到输出结果。
在分类模块中，第二融合模块的输出结果经过全连接层(FC)，就可对视网膜OCT图像各种疾病进行分类(分类为正常或非正常)。
进一步地，本实施例采用视网膜疾病标签的共现概率矩阵表示邻接矩阵，首先在训练集中统计标签两两同时出现的次数矩阵Mij∈RC×C，R表示矩阵元素为实数，C表示疾病标签数量，Mij表示疾病标签li和疾病标签lj类别同时出现的次数。再计算每个标签出现的总次数Ni，则邻接矩阵A满足：
Aij＝Mij/Ni
Aij为邻接矩阵A中的元素，然后将邻接矩阵A的对角线元素置为1，因其本身发生的概率为1，防止节点自身特征在计算时被忽略，也为缓解连续乘积所带来数值不稳定等问题。另外，需要注意构建的图为有向图，Aij与Aji计算结果不一致。由于视网膜疾病标签的共现概率矩阵仅为数据集全局的先验知识，在一些样本处会存在特殊情况，因此本实施例将邻接矩阵设置为可根据深度学习网络反向传播以动态更新参数，公式如下：
A＝A+I
其中，A～表示将邻接矩阵A对角元素置为1的矩阵，I为单位矩阵。
进一步地，本实施例中图卷积神经网络(GCN)层与层的传播方式为:
其中，H是每一层的特征，l表示当前层，W是需学习的参数，σ是非线性激活函数，使用的是ReLU，是通过/>计算得到的度矩阵，计算如下：
进一步地，IAF-MCNet网络先进行表征学习得到抽象的视觉特征，然后通过图卷积标签内联模块(GLAM)将标签关联结果和视觉特征进行融合，最后经过分类器输出类别概率P＝[p1,p2,...,pM]，其中pi表示视网膜OCT图像中出现疾病标签li的概率。本实施例还包括优化模块，即采用二分交叉熵函数计算每个类别预测结果与真实标签间的损失以反向传播优化整个IAF-MCNet网络的模型参数(即优化第一融合模块、拼接模块和第二融合模块的过程)，其计算方式如下：
其中，C表示疾病标签个数，yi∈{0,1}为真实类别标签，当yi＝0时，表示图像中不存在疾病标签li；当yi＝1时，表示图像中存在疾病标签li。
实验分析
本实施例的多标签分类数据采集自多家医院，包括苏州大学附属第一医院、河南省立眼科医院、长沙爱尔眼科医院等，由实验室搭建的SDOCT设备区域扫模式拍摄得到。总共收集到1700只眼睛的视网膜OCT影像数据，图像尺寸为1024×512，每只眼睛的病变由专业眼科医师进行标注与诊断。为了能够充分反映患者视网膜的患病情况，本研究在眼科医师的指导下，为每一只眼睛挑选了两张能够包含所有病变信息的高质量单通道二维B-scan图像用于模型的训练、测试。数据样本以眼睛为单位，按3:1:1比例随机划分训练集1020只眼、验证集340只眼、测试集340只眼。疾病标签共11个，包括：玻璃体后脱离、黄斑前膜、视网膜下积液、脉络膜新生血管、玻璃膜疣、视网膜劈裂、囊样水肿、渗出、椭圆体带缺失、脉络膜萎缩和其他。当疾病标签都标注为0时，代表当前视网膜图像为正常图像。为方便结果显示，将疾病标签进行编号，实验结果表格中标签编号(1)-(11)依次代表上述病变。训练集中各疾病标签成对出现的次数如表1所示，对角线数值设为0(标签与本身共同出现无意义)，该表用于计算邻接矩阵。
表1训练集中各视网膜疾病标签成对出现的次数表
标签编号 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11)
(1) 0 14 18 8 81 17 19 35 37 26 26
(2) 14 0 11 9 47 34 29 25 25 30 26
(3) 18 11 0 10 26 10 15 21 4 5 19
(4) 8 9 10 0 23 9 6 13 13 6 9
(5) 81 47 26 23 0 24 25 40 68 69 44
(6) 17 34 10 9 24 0 35 25 20 13 15
(7) 19 29 15 6 25 35 0 37 14 10 15
(8) 35 25 21 13 40 25 37 0 32 10 24
(9) 37 25 4 13 68 20 14 32 0 15 14
(10) 26 30 5 6 69 13 10 10 15 0 7
(11) 26 26 19 9 44 15 15 24 14 7 0
出于计算量以及内存考虑，将所有图像下采样至320×320。为防止网络过拟合，采用多种在线数据扩增方法充分利用训练集，包括随机上下和左右翻转、正负30度以内的随机旋转以及随机对比度、亮度、锐度变换。另外，还将输入图像像素值归一化至[0,1]，以加速网络收敛。
采用曲线下面积(Area Under Curve,AUC)、平均精度(Average Precision，AP)作为分类评价指标。
(a)消融实验
本实施例中通过多阶段自注意力融合模块(MSFM)、局部目标感知模块(LOAM)和图卷积标签内联模块(GLAM)，设计了用于对视网膜OCT图像的各种疾病进行分类的IAF-MCNet网络。其中MSFM模块提取像素空间相似度信息，捕获特征长距离依赖关系；LOAM模块拆分编码器浅层局部目标与底层特征拼接融合，增强对细小病灶的感知；GLAM模块统计标签共现概率矩阵作为邻接矩阵，通过图卷积层捕获不同标签内在联系。为验证与分析三个模块的有效性，做了如下消融实验：采用的基准网络Baseline以DenseNet121为主干的特征提取器，MSFM模块、LOAM模块以及GLAM模块均为可插拔结构，可将三种模块分别或分组嵌入到基准网络Baseline中，构成不同的独立网络结构进行消融实验。
每类疾病的平均AUC和AP的消融结果如表2和表3所示。不同种类疾病在图像中呈现的形态学特征各不相同，分类器对不同疾病的分类效果也有所不同。如疾病标签(6)、(10)对应的疾病视网膜劈裂与脉络膜萎缩，其病灶区域较大，形态学特征明显，其AUC评价指标能达到95％左右，AP评价指标也能达到76％和87％；而疾病标签(5)、(9)对应的疾病玻璃膜疣与椭圆体带缺失，其病灶区域较小，形态学特征不明显，容易被噪声干扰，AUC评价指标仅达到80％左右，AP评价指标也仅达到72％和48％，指标低于其他疾病。不同模型由于设计侧重点不同以及模型训练的随机性，可能在某一疾病标签上表现很好。而任务是对视网膜疾病进行辅助诊断和筛查，更看重所有疾病类别的平均指标结果。设计的三个模块嵌入基准网络Baseline单独构成的网络模型指标平均结果均优于基准网络Baseline指标平均结果，三个模块两两组合嵌入到基准网络Baseline构成的网络模型指标平均结果均优于单个模块嵌入基准网络Baseline构成的网络模型，而三个模块嵌入到基准网络Baseline构成的网络模型(即IAF-MCNet网络)在AUC和AP上均取得了最好结果，可见所设计的三个模块的有效性。另外，本实施例在AUC指标下有四个疾病标签(4、6、7、11)达到最优结果，在AP指标下有三个疾病标签(2、3、6)达到最优结果，与所有消融实验网络相比是最多的。并且没有一个疾病标签指标明显低于其他网络，如Baseline+MSFM网络在疾病标签(9)的指标明显低于其他网络，Baseline+LOAM网络在疾病标签(8)上的AUC指标是所有消融实验网络中唯一低于90％的。综上所述，本实施例在消融实验中取得了最佳的分类性能，结果相比Baseline网络方法，在平均AUC指标和平均AP指标上分别提升了2.08％和3.4％。
表2多标签分类网络消融实验AUC(％)结果表
表3多标签分类网络消融实验AP(％)结果表
(b)对比实验
为测试所提出的基于信息内联融合的多标签分类网络IAF-MCNet性能的优越性，将其与其他先进的深度学习分类网络进行对比与分析，表4展示了各网络的所有标签类别的平均AUC和AP评价指标。从表4可以看出，与10种先进分类网络相比，本实施例在平均AUC和AP指标上均取得了最好的性能，与取得次优性能的InceptionV4相比，在平均AUC指标和平均AP指标上分别提升了1.51％和1.74％。
表4不同网络在视网膜OCT多标签分类任务上的对比实验结果表
方法 mAUC(％) mAP(％)
DPN68 87.68 61.08
ResNet50 89.25 62.91
EfficientNet-b3 87.46 64.80
SENet 88.80 65.10
CBAM 88.92 66.23
ResNeXt50 88.48 66.51
MobileNet 89.00 66.69
ResNeSt14d 89.87 65.53
InceptionV4 89.89 69.28
IAF-MCNet 91.40 71.02
实施例二
本实施例提供一种一种视网膜OCT图像病变多标签分类方法，包括：
步骤S1：获取同一被检测者的两张视网膜OCT图像；
步骤S2：提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
步骤S3：提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
步骤S4：基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
步骤S5：根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
实施例三
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例二所述视网膜OCT图像病变多标签分类方法的步骤。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例二所述视网膜OCT图像病变多标签分类方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种视网膜OCT图像病变多标签分类系统，其特征在于：包括：
获取模块：用于获取同一被检测者的两张视网膜OCT图像；
第一融合模块：用于提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
拼接模块：用于提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
第二融合模块：用于基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
分类模块：用于根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
2.根据权利要求1所述的视网膜OCT图像病变多标签分类系统，其特征在于：所述第一融合模块中提取所述两张视网膜OCT图像的深层特征，得到深层特征图，具体为：通过依次连接的卷积单元、第一密集连接块、第二密集连接块、第三密集连接块和第四密集连接块提取所述两张视网膜OCT图像的深层特征，得到深层特征图；
其中，所述卷积单元包括依次连接的卷积层、批归一化层和RELU激活层；所述第一密集连接块包括执行6次的1×1卷积和3×3卷积；所述第二密集连接块包括执行12次的1×1卷积和3×3卷积；所述第三密集连接块包括执行24次的1×1卷积和3×3卷积；所述第四密集连接块包括执行16次的1×1卷积和3×3卷积。
3.根据权利要求2所述的视网膜OCT图像病变多标签分类系统，其特征在于：所述第一融合模块中将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图，具体为：
将所述卷积单元、第一密集连接块、第二密集连接块的输出均依次通过下采样和1×1卷积的结果，与所述第三密集连接块的输出通过1×1卷积的结果进行矩阵相加，得到第一矩阵相加结果，再将所述第一矩阵相加结果进行1×1卷积得到Query矩阵，并修改所述Query矩阵的尺寸；
将所述第四密集连接块的输出进行升维，并将升维后的结果按通道拆分得到初始Key矩阵、初始Value矩阵和原视觉特征矩阵Fsplit，将所述初始Key矩阵和初始Value矩阵分别进行1×1卷积得到Key矩阵和Value矩阵，并修改所述Key矩阵的尺寸；
将修改尺寸后的Query矩阵和修改尺寸后的Key矩阵进行矩阵乘法，得到第一矩阵乘法结果、并通过softmax激活提取所述第一矩阵乘法结果的权重特征矩阵W，将所述权重特征矩阵W与所述Value矩阵进行矩阵乘法，得到第二矩阵乘法结果，并对所述第二矩阵乘法结果修改尺寸并进行1×1卷积后再与所述原视觉特征矩阵Fsplit进行矩阵相加，得到第二矩阵相加结果，其中，所述第二矩阵相加结果为图像特征图。
4.根据权利要求2所述的视网膜OCT图像病变多标签分类系统，其特征在于：所述拼接模块中提取所述两张视网膜OCT图像的浅层特征，具体为：
分别提取所述第一密集连接块、第二密集连接块、第三密集连接块输出的特征，将输出的三个特征分别划分为不重叠的图像块；
沿通道维度分别将三个特征对应的图像块进行堆叠，通过1×1卷积将三个堆叠后的图像块均缩放成一维度特征，再将三个一维度特征各自进行全局平均池化的结果与全局最大池化的结果进行矩阵相加，得到第三矩阵相加结果、第四矩阵相加结果和第五矩阵相加结果；
将所述第三矩阵相加结果、第四矩阵相加结果和第五矩阵相加结果分别通过两层全连接层与ReLU激活层融合为三个子向量，最后将三个子向量按通道拼接成一个向量输出，其中，所述向量输出为包括局部目标信息的浅层特征。
5.根据权利要求1所述的视网膜OCT图像病变多标签分类系统，其特征在于：所述第二融合模块中基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果，具体为：
将视网膜不同疾病标签输入词向量模型，构建初始图结构,同时基于视网膜不同疾病标签两两出现的频率构建邻接矩阵；
将所述初始图结构和邻接矩阵作为输入数据同时输入图卷积神经网络，得到向量矩阵；
将所述拼接特征输入全连接层，得到全连接后的结果，再将所述全连接后的结果与转置后的向量矩阵进行矩阵乘法，得到第三矩阵乘法结果，再将所述第三矩阵乘法结果与所述全连接后的结果按通道拼接，得到输出结果。
6.根据权利要求5所述的视网膜OCT图像病变多标签分类系统，其特征在于：所述邻接矩阵A中的元素Aij满足公式：
Aij＝Mij/Ni
其中，邻接矩阵A满足A＝A+I，表示将邻接矩阵A对角元素置为1的矩阵，I表示单位矩阵，Mij表示疾病标签li和疾病标签lj同时出现的次数，Ni表示每个疾病标签出现的总次数。
7.根据权利要求1所述的视网膜OCT图像病变多标签分类系统，其特征在于：还包括优化模块：用于根据分类模块的得到的分类结果，来优化第一融合模块、拼接模块和第二融合模块的过程，公式为：
其中，C表示疾病标签个数，pi表示视网膜OCT图像中出现疾病标签li的概率，yi∈{0,1}为真实类别标签，当yi＝0时，表示视网膜OCT图像中不存在疾病标签li；当yi＝1时，表示视网膜OCT图像中存在疾病标签li。
8.一种视网膜OCT图像病变多标签分类方法，其特征在于：包括：
步骤S1：获取同一被检测者的两张视网膜OCT图像；
步骤S2：提取所述两张视网膜OCT图像的深层特征，得到深层特征图，同时将深层特征提取过程中每个阶段输出的特征均与所述深层特征图进行融合，得到图像特征图；
步骤S3：提取所述两张视网膜OCT图像的浅层特征，所述浅层特征包括局部目标信息，将包括局部目标信息的浅层特征与所述图像特征图进行拼接，得到拼接特征；
步骤S4：基于视网膜不同疾病标签构建输入数据，并将所述输入数据输入图卷积神经网络，得到向量矩阵，再将所述向量矩阵和所述拼接特征进行融合得到输出结果；
步骤S5：根据所述输出结果对视网膜OCT图像的各种疾病进行分类。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求8所述视网膜OCT图像病变多标签分类方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求8所述视网膜OCT图像病变多标签分类方法的步骤。
CN202310240656.XA 2023-03-14 2023-03-14 一种视网膜oct图像病变多标签分类系统和方法 Pending CN116503639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310240656.XA CN116503639A (zh) 2023-03-14 2023-03-14 一种视网膜oct图像病变多标签分类系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310240656.XA CN116503639A (zh) 2023-03-14 2023-03-14 一种视网膜oct图像病变多标签分类系统和方法

Publications (1)

Publication Number Publication Date
CN116503639A true CN116503639A (zh) 2023-07-28

Family

ID=87323792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310240656.XA Pending CN116503639A (zh) 2023-03-14 2023-03-14 一种视网膜oct图像病变多标签分类系统和方法

Country Status (1)

Country Link
CN (1) CN116503639A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218129A (zh) * 2023-11-09 2023-12-12 四川大学 食道癌图像识别分类方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN113129267A (zh) * 2021-03-22 2021-07-16 杭州电子科技大学 一种基于视网膜分层数据的oct图像检测方法及系统
CN113255766A (zh) * 2021-05-25 2021-08-13 平安科技（深圳）有限公司 一种图像分类方法、装置、设备和存储介质
CN113657425A (zh) * 2021-06-28 2021-11-16 华南师范大学 基于多尺度与跨模态注意力机制的多标签图像分类方法
US20220351373A1 (en) * 2021-03-18 2022-11-03 Duke University Systems and Methods Related to Age-Related Macular Degeneration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
US20220351373A1 (en) * 2021-03-18 2022-11-03 Duke University Systems and Methods Related to Age-Related Macular Degeneration
CN113129267A (zh) * 2021-03-22 2021-07-16 杭州电子科技大学 一种基于视网膜分层数据的oct图像检测方法及系统
CN113255766A (zh) * 2021-05-25 2021-08-13 平安科技（深圳）有限公司 一种图像分类方法、装置、设备和存储介质
CN113657425A (zh) * 2021-06-28 2021-11-16 华南师范大学 基于多尺度与跨模态注意力机制的多标签图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNJUN HE ET AL: "Multi-label ocular disease classification with a dense correlation deep neural network", BIOMEDICAL SIGNAL PROCESSING AND CONTROL, 31 January 2021 (2021-01-31) *
韩璐等: "多尺度特征融合网络的视网膜OCT图像分类", 智能系统学报, 5 March 2022 (2022-03-05) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218129A (zh) * 2023-11-09 2023-12-12 四川大学 食道癌图像识别分类方法、系统、设备及介质
CN117218129B (zh) * 2023-11-09 2024-01-26 四川大学 食道癌图像识别分类方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
Gegundez-Arias et al. A new deep learning method for blood vessel segmentation in retinal images based on convolutional kernels and modified U-Net model
dos Santos Ferreira et al. Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma
Hassan et al. RAG-FW: A hybrid convolutional framework for the automated extraction of retinal lesions and lesion-influenced grading of human retinal pathology
de Sousa et al. Texture based on geostatistic for glaucoma diagnosis from fundus eye image
Saleh et al. Transfer learning‐based platform for detecting multi‐classification retinal disorders using optical coherence tomography images
CN111862009A (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
Singh et al. A novel multimodality based dual fusion integrated approach for efficient and early prediction of glaucoma
AbdelMaksoud et al. A comprehensive diagnosis system for early signs and different diabetic retinopathy grades using fundus retinal images based on pathological changes detection
de Sales Carvalho et al. Automatic method for glaucoma diagnosis using a three-dimensional convoluted neural network
Yadav et al. Computer‐aided diagnosis of cataract severity using retinal fundus images and deep learning
CN116503639A (zh) 一种视网膜oct图像病变多标签分类系统和方法
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
Sengupta et al. Ophthalmic diagnosis and deep learning–a survey
Attia et al. A survey on machine and deep learning for detection of diabetic RetinopathY
Varma et al. A reliable automatic cataract detection using deep learning
Padalia et al. A CNN-LSTM combination network for cataract detection using eye fundus images
CN112131420B (zh) 一种基于图卷积神经网络的眼底图像分类方法及装置
Kayadibi et al. A Hybrid R-FTCNN based on principal component analysis for retinal disease detection from OCT images
CN116824217B (zh) 一种多模态视网膜眼底图像分类方法
Varma et al. Fundus image-based automatic cataract detection and grading system
CN115170503B (zh) 基于决策规则和深度神经网络的眼底图像视野分类方法及装置
Abdulrahman et al. Classification of retina diseases from OCT using genetic programming
Yenegeta et al. TrachomaNet: Detection and grading of trachoma using texture feature based deep convolutional neural network
Joans Identification and classification of eye disease using deep learning
Subhedar et al. A Review on Recent Work On OCT Image Classification for Disease Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination