CN112884729A - 基于双模态深度学习的眼底疾病辅助诊断方法和装置 - Google Patents

基于双模态深度学习的眼底疾病辅助诊断方法和装置 Download PDF

Info

Publication number
CN112884729A
CN112884729A CN202110156174.7A CN202110156174A CN112884729A CN 112884729 A CN112884729 A CN 112884729A CN 202110156174 A CN202110156174 A CN 202110156174A CN 112884729 A CN112884729 A CN 112884729A
Authority
CN
China
Prior art keywords
feature vector
feature
vector
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110156174.7A
Other languages
English (en)
Other versions
CN112884729B (zh
Inventor
宋美娜
鄂海红
何佳雯
张胜娟
王艳辉
李欢
张如如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110156174.7A priority Critical patent/CN112884729B/zh
Publication of CN112884729A publication Critical patent/CN112884729A/zh
Priority to PCT/CN2021/137145 priority patent/WO2022166399A1/zh
Application granted granted Critical
Publication of CN112884729B publication Critical patent/CN112884729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请提出一种基于双模态深度学习的眼底疾病辅助诊断方法和装置，涉及数据处理技术领域，其中，方法包括：获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。

Description

基于双模态深度学习的眼底疾病辅助诊断方法和装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于双模态深度学习的眼底疾病辅助诊断方法和装置。
背景技术
通常，眼底疾病包括了玻璃体、视神经、脉络膜以及视网膜的炎症、肿瘤和各类血管的病变，或各种多系统疾病及变性疾病引起的眼部组织病变。我国是世界上盲人和视觉损伤患者数量最多的国家之一。目前我国有约2700万糖尿病视网膜病变患者，1600万青光眼疾病的患者，3000万黄斑病的患者。视力障碍将会严重影响人们的生活质量，然而，我国医疗资源人均占有率低，患者与专业医师间的比例严重失衡。近年来，为了有效缓解医生的工作量与患者需求量之间的矛盾，许多研究者将深度学习技术应用于眼底疾病智能辅助诊断领域。基于深度学习的计算机辅助诊疗系统可不间断工作，并一定程度上减弱了人类医生的主观性，使疾病的诊断更加客观、稳定。与此同时，深度学习技术可对医学图像中的病理特征进行逐像素的分析量化，为医生提供疾病诊断的参考。
相关技术中，1)只使用彩色眼底图像实现相关眼底疾病的智能筛查；2)只使用光学相干断层扫描(OCT，Optical Coherence Tomography)图像实现相关眼底疾病的智能筛查；方案1)和方案2)只使用单一模态的医学图像数据，数据收集较方便，但只使用单一图像进行辅助诊断是不符合医疗临床实际情况的。彩色眼底图像和OCT图像可分别从平面和横断面的视角展示不同的体征信息，许多眼底疾病如中心性浆液性脉络膜视网膜病变、年龄相关性黄斑变性、视网膜静脉阻塞、特发性息肉样脉络膜血管病变等都至少需要彩色眼底图像和OCT图像提供的体征信息才能进行确诊。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于双模态深度学习的眼底疾病辅助诊断方法，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。
本申请的第二个目的在于提出一种基于双模态深度学习的眼底疾病辅助诊断装置。
为达上述目的，本申请第一方面实施例提出了一种基于双模态深度学习的眼底疾病辅助诊断方法，包括：
获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；
分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；
根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法，通过获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。
可选地，在本申请的一个实施例中，所述分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量，包括：
通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，
通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。
可选地，在本申请的一个实施例中，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
可选地，在本申请的一个实施例中，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和1；
获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果。
可选地，在本申请的一个实施例中，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
将所述第一特征向量和所述第二特征向量分别输入已训练的神经网络诊断模型，获取第一分类结果和第二分类结果，
获取所述第一分类结果对应的第一权重，以及获取所述第二分类结果对应的第二权重；
获取所述第一分类结果和所述第一权重的第一乘积与所述第二分类结果和所述第二权重的第二乘积的和作为所述诊断结果。
可选地，在本申请的一个实施例中，在所述将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果之前，还包括：
获取多只眼睛中的每一只眼睛的彩色眼底图像样本和光学相干断层扫描OCT图像样本；其中，所述彩色眼底图像样本和所述OCT图像样本具有标注结果；
分别提取所述彩色眼底图像样本和所述OCT图像样本的第一特征向量样本和第二特征向量样本；
根据预设特征融合策略对所述第一特征向量样本和所述第二特征向量样本进行融合处理，获取目标特征向量样本，并将所述目标特征向量样本输入神经网络诊断模型进行训练，获取训练结果，通过损失函数计算所述标注结果和所述训练结果的误差，调整所述神经网络诊断模型的参数，直到所述误差小于预设阈值，生成所述已训练的神经网络诊断模型。
为达上述目的，本申请第二方面实施例提出了一种基于双模态深度学习的眼底疾病辅助诊断装置，包括：
获取模块，用于获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；
提取模块，用于分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；
处理模块，用于根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
本申请实施例的基于双模态深度学习的眼底疾病辅助诊断装置，通过获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。
在本申请的一个实施例中，所述提取模块，具体用于：
通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，
通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。
在本申请的一个实施例中，所述处理模块，具体用于：
将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
在本申请的一个实施例中，所述处理模块，具体用于：
获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和1；
获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法的示例图；
图2为本申请实施例所提供的一种基于双模态深度学习的眼底疾病辅助诊断方法的流程示意图；
图3为本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法的训练示例图；
图4为本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法的处理示例图；
图5为本申请实施例所提供的一种基于双模态深度学习的眼底疾病辅助诊断装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法和装置。
图2为本申请实施例所提供的一种基于双模态深度学习的眼底疾病辅助诊断方法的流程示意图。
具体地，在现阶段的眼底疾病辅助诊断研究中，大部分的研究工作只使用了一种医学图像，这并不符合真实的医学临床场景。在使用多种医学图像的研究中，大部分工作并未探究特征提取模块的同构和异构以及不同特征融合策略是否会达到更好的分类效果。
本申请设计了一种双模态眼底疾病辅助诊断系统，并提出了适用于该系统的3种特征融合策略。系统使用彩色眼底图像和OCT图像，可实现对常见眼底疾病的辅助诊断。
具体地，如图2所示，针对眼底疾病辅助诊断领域中普遍存在的只使用单一医学图像等问题，我们提出了双模态眼底疾病辅助诊断系统，该系统包括两个部分：(1)不同特征提取模块应用于不同模态数据进行特征的提取；(2)对特征表示进行融合。完整的系统结构如图2所示，其中Model-F为应用于彩色眼底图像的特征提取模块，Model-O为应用于 OCT图像的特征提取模块；(a)为基于特征的连接策略，(b)为基于特征的权重分配策略， (c)为基于分类结果的权重分配策略。
定义数据集D＝{xf，xO|y}，其中xf和xO分别为从同一只眼睛获得的彩色眼底图像和OCT 图像，y为该组图像的诊断标签。双模态眼底疾病辅助诊断系统接收成对的输入{xf，xO}，并输出对眼睛的诊断结果
Figure RE-GDA0003031448430000052
其中双模态眼底疾病辅助诊断系统以“Our_Model”表示：
Figure RE-GDA0003031448430000051
如图1所示，该基于双模态深度学习的眼底疾病辅助诊断方法包括以下步骤：
步骤101，获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像。
步骤102，分别对彩色眼底图像和OCT图像进行特征提取，获取第一特征向量和第二特征向量。
在本申请实施例中，通过第一特征提取模块分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；或，通过第一特征提取模块对彩色眼底图像进行特征提取，获取第一特征向量，以及通过第二特征提取模块对OCT图像进行特征提取，获取第二特征向量。
具体地，双模态眼底疾病辅助诊断系统由两个对称的分支组成，其中，用于处理彩色眼底图像的特征提取模块记作Model-F，用于处理OCT图像的特征提取模块记作Model-O。
具体地，计算机视觉中主流的特征提取模块皆可用于双模态眼底疾病辅助诊断系统，如VGGNet、GoogleNet、ResNet等。针对不同的辅助诊断任务，该框架可选择不同的特征提取模块，Model-F和Model-O可以是相同的特征提取模块(同构)也可以是不同的特征提取模块(异构)。考虑到医学临床中，同一位病人的OCT图像往往比彩色眼底图像数量多，且两种图像分辨率不同，因此异构的特征提取模块可能会比同构特征提取模块获得更好的效果。
令Ff为彩色眼底图像由Model-F提取得到的特征向量(图2中上面矩形块)，同样，FO为 Model-O作用于OCT图像生成的特征向量(图2中下面矩形块)。为方便后续的特征融合操作，特征向量Ff和FO的大小需要进行统一。
步骤103，根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
具体地，在当前的结合彩色眼底图像和OCT图像的双模态研究中，大部分都只使用了特征连接策略进行特征融合。考虑到彩色眼底图像和OCT图像的数量差异、分辨率差异，两种图像对最终分类结果的贡献并不一定是均等的，因此该策略并不一定适用于所有的眼底疾病辅助诊断任务。
在本申请实施例中，提出了3种特征融合策略，针对不同的辅助诊断任务，双模态眼底疾病辅助诊断系统可选用不同的特征融合策略，也可修改策略中定义的超参数，以达到最佳分类效果。
第一种示例，将第一特征向量和第二特征向量进行拼接，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
具体地，如图2(a)所示，基于特征的连接策略将Ff、FO连接得到向量Fcon，之后通过全连接层得到最终输出
Figure RE-GDA0003031448430000066
的得分：
Figure RE-GDA0003031448430000061
其中，Wcon为全连接层参数。通过选择
Figure RE-GDA0003031448430000062
中得分最高的类别来实现等式1中表示的分类。
其中，连接两个特征向量，可以直观地提高语义空间维数，将k维提升到2k维。对图像分类任务来说，更高维的语义空间意味着更多的语义信息。
第二种示例，获取第一特征向量对应的第一权重，以及第二特征向量对应的第二权重；其中，第一权重和第二权重的和为1；获取第一特征向量和第一权重的第一乘积与第二特征向量和第二权重的第二乘积的和作为目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
具体地，如图2(b)所示，基于特征的权重分配策略通过将Ff和FO按权重加和得到特征向量Fadd：Fadd＝aFf+(1-a)FO，其中a为超参数且0＜a＜1。之后通过全连接层得到最终输出
Figure RE-GDA0003031448430000063
的得分：
Figure RE-GDA0003031448430000064
其中Wadd为全连接层参数。通过选择
Figure RE-GDA0003031448430000065
中得分最高的类别来实现等式1中表示的分类。
其中，参与权重分配的两个特征向量分别带有关于不同图像的特征信息。通过权重分配原则，给予某模态特征不同的重要性。权重大小可以视为该信息对图像分类任务的重要程度。
第三种示例，将第一特征向量和第二特征向量分别输入已训练的神经网络诊断模型，获取第一分类结果和第二分类结果，获取第一分类结果对应的第一权重，以及获取第二分类结果对应的第二权重；获取第一分类结果和第一权重的第一乘积与第二分类结果和第二权重的第二乘积的和作为诊断结果。
具体地，如图2(c)所示，基于分类结果的权重分配策略先分别将Ff和FO输入全连接层得到
Figure RE-GDA0003031448430000071
和
Figure RE-GDA0003031448430000072
其中，Wf，WO分别为应用于彩色眼底图像和OCT图像上的全连接层参数。之后将
Figure RE-GDA0003031448430000073
和
Figure RE-GDA0003031448430000074
按权重加和得到最终输出
Figure RE-GDA0003031448430000078
的得分：
Figure RE-GDA0003031448430000075
Figure RE-GDA0003031448430000076
其中a为超参数且0＜a＜1。通过选择
Figure RE-GDA0003031448430000077
中得分最高的类别来实现等式1中表示的分类。
基于分类结果的权重分配策略是一种加权投票法，应用于彩色眼底图像的模块和应用于OCT图像的模块实际上相互独立，它们分别给出分类结果的预测并通过加权投票的方式得到最终结果。
在本申请实施例中，获取多只眼睛中的每一只眼睛的彩色眼底图像样本和光学相干断层扫描OCT图像样本；其中，彩色眼底图像样本和OCT图像样本具有标注结果；分别提取彩色眼底图像样本和OCT图像样本的第一特征向量样本和第二特征向量样本；根据预设特征融合策略对第一特征向量样本和第二特征向量样本进行融合处理，获取目标特征向量样本，并将目标特征向量样本输入神经网络诊断模型进行训练，获取训练结果，通过损失函数计算所述标注结果和训练结果的误差，调整神经网络诊断模型的参数，直到误差小于预设阈值，生成已训练的神经网络诊断模型。
具体地，双模态眼底疾病辅助诊断系统的训练流程图如图3所示，具体的步骤如下所述：1)根据数据集及任务特点选择应用于彩色眼底图像和OCT图像的特征提取模块Model-F和Model-O；2)根据数据集及任务特点选择特征融合策略，即基于特征的连接策略、基于特征的权重分配策略或基于分类结果的权重分配策略；3)根据选择的特征提取模块和特征融合策略，修改双模态眼底疾病辅助诊断系统对应的功能模块；4)使用已有的带标签数据集进行训练；5)若系统可达到预期的精度，则双模态眼底疾病辅助诊断系统训练结束；若未达到预期精度，则根据数据集及任务特点修改特征提取模块或修改特征融合策略，回到步骤3)。
具体地，双模态眼底疾病辅助诊断系统训练完成后，即可用于对眼底疾病的辅助诊断。系统的使用流程图如图4所示，具体的步骤如下所述：1)获取患者眼部的彩色眼底图像和OCT图像并上传至双模态眼底疾病辅助诊断系统，两张图像必须属于同一患者的同一只眼睛；2)系统对两张图像进行大小调整、图像增强等图像预处理；3)系统将彩色眼底图像输入Model-F特征提取模块得到彩色眼底图像特征向量，将OCT图像输入Model-O特征提取模块得到OCT图像特征向量；4)系统按照选定的特征融合策略将两个特征向量融合，并给出最终的筛查结果，该结果可用于辅助诊断。
由此，本申请考虑了眼科临床应用广泛的彩色眼底图像和OCT图像双模态数据，使系统可获得不同视角的眼部体征信息，更符合较多眼底疾病的临床诊断流程，也可实现更好的分类性能；本申请可选用不同的特征提取模块，应用于彩色眼底图像和OCT图像的特征提取模块可以是同构模块也可以是异构模块。针对不同数据集、不同任务场景，特征提取模块的选择可不相同，通过这种方式可以更好的探究适用于不同眼底疾病辅助诊断任务的系统结构；本申请针对双模态眼底疾病辅助诊断系统提出3种特征融合策略，使特征提取模块从彩色眼底图像和OCT图像中提取得到的特征向量可以更好的应用于眼底疾病筛查结果的判断。针对不同数据集、不同任务场景，特征融合策略最优方案的选择会有所不同。
本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法，通过获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。
为了实现上述实施例，本申请还提出一种基于双模态深度学习的眼底疾病辅助诊断装置。
图5为本申请实施例提供的一种基于双模态深度学习的眼底疾病辅助诊断装置的结构示意图。
如图5所示，该基于双模态深度学习的眼底疾病辅助诊断装置包括：获取模块510、提取模块520和处理模块530。
获取模块510，用于获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像。
提取模块520，用于分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量。
处理模块530，用于根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
在本申请实施例中，提取模块520，具体用于：通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。
在本申请实施例中，处理模块530，具体用于：将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
在本申请实施例中，处理模块530，具体用于：获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和为1；获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果。
本申请实施例的基于双模态深度学习的眼底疾病辅助诊断装置，通过获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。
需要说明的是，前述对基于双模态深度学习的眼底疾病辅助诊断方法实施例的解释说明也适用于该实施例的基于双模态深度学习的眼底疾病辅助诊断装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于双模态深度学习的眼底疾病辅助诊断方法，其特征在于，包括以下步骤：
获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；
分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；
根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
2.如权利要求1所述的方法，其特征在于，所述分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量，包括：
通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，
通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。
3.如权利要求1所述的方法，其特征在于，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
4.如权利要求1所述的方法，其特征在于，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和1；
获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果。
5.如权利要求1所述的方法，其特征在于，所述根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：
将所述第一特征向量和所述第二特征向量分别输入已训练的神经网络诊断模型，获取第一分类结果和第二分类结果，
获取所述第一分类结果对应的第一权重，以及获取所述第二分类结果对应的第二权重；
获取所述第一分类结果和所述第一权重的第一乘积与所述第二分类结果和所述第二权重的第二乘积的和作为所述诊断结果。
6.如权利要求1-5任一项所述的方法，其特征在于，在所述将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果之前，还包括：
获取多只眼睛中的每一只眼睛的彩色眼底图像样本和光学相干断层扫描OCT图像样本；其中，所述彩色眼底图像样本和所述OCT图像样本具有标注结果；
分别提取所述彩色眼底图像样本和所述OCT图像样本的第一特征向量样本和第二特征向量样本；
根据预设特征融合策略对所述第一特征向量样本和所述第二特征向量样本进行融合处理，获取目标特征向量样本，并将所述目标特征向量样本输入神经网络诊断模型进行训练，获取训练结果，通过损失函数计算所述标注结果和所述训练结果的误差，调整所述神经网络诊断模型的参数，直到所述误差小于预设阈值，生成所述已训练的神经网络诊断模型。
7.一种基于双模态深度学习的眼底疾病辅助诊断装置，其特征在于，包括：
获取模块，用于获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；
提取模块，用于分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；
处理模块，用于根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
8.如权利要求7所述的装置，其特征在于，所述提取模块，具体用于：
通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，
通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。
9.如权利要求7所述的装置，其特征在于，所述处理模块，具体用于：
将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。
10.如权利要求7所述的方法，其特征在于，所述处理模块，具体用于：
获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和1；
获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果。
CN202110156174.7A 2021-02-04 2021-02-04 基于双模态深度学习的眼底疾病辅助诊断方法和装置 Active CN112884729B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110156174.7A CN112884729B (zh) 2021-02-04 2021-02-04 基于双模态深度学习的眼底疾病辅助诊断方法和装置
PCT/CN2021/137145 WO2022166399A1 (zh) 2021-02-04 2021-12-10 基于双模态深度学习的眼底疾病辅助诊断方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110156174.7A CN112884729B (zh) 2021-02-04 2021-02-04 基于双模态深度学习的眼底疾病辅助诊断方法和装置

Publications (2)

Publication Number Publication Date
CN112884729A true CN112884729A (zh) 2021-06-01
CN112884729B CN112884729B (zh) 2023-08-01

Family

ID=76057186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110156174.7A Active CN112884729B (zh) 2021-02-04 2021-02-04 基于双模态深度学习的眼底疾病辅助诊断方法和装置

Country Status (2)

Country Link
CN (1) CN112884729B (zh)
WO (1) WO2022166399A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494734A (zh) * 2022-01-21 2022-05-13 平安科技（深圳）有限公司 基于眼底图像的病变检测方法、装置、设备及存储介质
WO2022166399A1 (zh) * 2021-02-04 2022-08-11 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN116433644A (zh) * 2023-04-22 2023-07-14 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721760B (zh) * 2023-06-12 2024-04-26 东北林业大学 融合生物标志物的多任务糖尿病性视网膜病变检测算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998599A (zh) * 2019-03-07 2019-07-12 华中科技大学 一种基于ai技术的光/声双模成像眼底疾病诊断系统
WO2019200535A1 (zh) * 2018-04-17 2019-10-24 深圳华大生命科学研究院 基于人工智能的眼科疾病诊断建模方法、装置及系统
US20200085290A1 (en) * 2017-05-04 2020-03-19 Shenzhen Sibionics Technology Co., Ltd. Artificial neural network and system for identifying lesion in retinal fundus image
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781214B2 (en) * 2009-10-29 2014-07-15 Optovue, Inc. Enhanced imaging for optical coherence tomography
CN111667468A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 基于神经网络的oct图像病灶检测方法、装置及介质
CN111696100A (zh) * 2020-06-17 2020-09-22 上海鹰瞳医疗科技有限公司 基于眼底影像确定吸烟程度的方法及设备
CN112884729B (zh) * 2021-02-04 2023-08-01 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200085290A1 (en) * 2017-05-04 2020-03-19 Shenzhen Sibionics Technology Co., Ltd. Artificial neural network and system for identifying lesion in retinal fundus image
WO2019200535A1 (zh) * 2018-04-17 2019-10-24 深圳华大生命科学研究院 基于人工智能的眼科疾病诊断建模方法、装置及系统
CN111656357A (zh) * 2018-04-17 2020-09-11 深圳华大生命科学研究院 基于人工智能的眼科疾病诊断建模方法、装置及系统
CN109998599A (zh) * 2019-03-07 2019-07-12 华中科技大学 一种基于ai技术的光/声双模成像眼底疾病诊断系统
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BILAL HASSAN 等: "Deep Ensemble Learning Based Objective Grading of Macular Edema by Extracting Clinically Significant Findings from Fused Retinal Imaging Modalities", 《SENSORS》 *
BILAL HASSAN 等: "Deep Ensemble Learning Based Objective Grading of Macular Edema by Extracting Clinically Significant Findings from Fused Retinal Imaging Modalities", 《SENSORS》, 5 July 2019 (2019-07-05), pages 4 *
WEISEN WANG 等: "Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization", 《ARXIV》 *
WEISEN WANG 等: "Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization", 《ARXIV》, 28 July 2019 (2019-07-28), pages 2 - 3 *
徐至研: "人工智能用于年龄相关性黄斑变性和息肉状脉络膜血管病变诊断研宄", 《中国博士优秀学位论文全文数据库 医药卫生科技辑》 *
徐至研: "人工智能用于年龄相关性黄斑变性和息肉状脉络膜血管病变诊断研宄", 《中国博士优秀学位论文全文数据库 医药卫生科技辑》, 15 February 2020 (2020-02-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166399A1 (zh) * 2021-02-04 2022-08-11 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN114494734A (zh) * 2022-01-21 2022-05-13 平安科技（深圳）有限公司 基于眼底图像的病变检测方法、装置、设备及存储介质
WO2023137904A1 (zh) * 2022-01-21 2023-07-27 平安科技（深圳）有限公司 基于眼底图像的病变检测方法、装置、设备及存储介质
CN116433644A (zh) * 2023-04-22 2023-07-14 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法
CN116433644B (zh) * 2023-04-22 2024-03-08 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法

Also Published As

Publication number Publication date
WO2022166399A1 (zh) 2022-08-11
CN112884729B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US11748889B2 (en) Brain image segmentation method and apparatus, network device, and storage medium
CN112884729B (zh) 基于双模态深度学习的眼底疾病辅助诊断方法和装置
KR20200005406A (ko) 진단 보조 시스템
DE202014010680U1 (de) System zum Bewerten kardiovaskulärer Behandlungsoptionen für einen Patienten
US20140119624A1 (en) Volumetric analysis of pathologies
Shanmugam et al. An automatic recognition of glaucoma in fundus images using deep learning and random forest classifier
CN112819818B (zh) 图像识别模块训练方法和装置
Paul et al. Octx: Ensembled deep learning model to detect retinal disorders
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN112957005A (zh) 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法
CN113887662A (zh) 一种基于残差网络的图像分类方法、装置、设备及介质
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
Pan et al. Fundus image classification using Inception V3 and ResNet-50 for the early diagnostics of fundus diseases
CN109919932A (zh) 目标对象的识别方法和装置
Singh et al. Deep-learning based system for effective and automatic blood vessel segmentation from Retinal fundus images
Gupta et al. An efficient model for detection and classification of internal eye diseases using deep learning
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Aurangzeb et al. Systematic development of AI-Enabled diagnostic systems for glaucoma and diabetic retinopathy
Li et al. Class-aware attention network for infectious keratitis diagnosis using corneal photographs
CN114627091A (zh) 视网膜年龄识别方法和装置
Haloi Towards ophthalmologist level accurate deep learning system for OCT screening and diagnosis
Pandey et al. The use of Image Processing for the Classification of Diabetic Retinopathy
CN113256638A (zh) 基于卷积神经网络模型的眼球角膜神经分割方法及装置
Oguz et al. LOGISMOS: A family of graph-based optimal image segmentation methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant