CN112967260A - 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 - Google Patents

基于弱监督学习的眼底荧光造影图像渗漏点检测方法 Download PDF

Info

Publication number
CN112967260A
CN112967260A CN202110287441.4A CN202110287441A CN112967260A CN 112967260 A CN112967260 A CN 112967260A CN 202110287441 A CN202110287441 A CN 202110287441A CN 112967260 A CN112967260 A CN 112967260A
Authority
CN
China
Prior art keywords
image
fluorescence
abnormal
fundus
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110287441.4A
Other languages
English (en)
Other versions
CN112967260B (zh
Inventor
史国华
李婉越
何益
王晶
孔文
陈一巍
包明帝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110287441.4A priority Critical patent/CN112967260B/zh
Publication of CN112967260A publication Critical patent/CN112967260A/zh
Application granted granted Critical
Publication of CN112967260B publication Critical patent/CN112967260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，包括以下步骤：1)从采集的眼底荧光造影图像报告中，筛选出正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；2)选择荧光造影图像作为训练数据集；3)训练检测网络模型；4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，获得眼底荧光造影图像渗漏点检测结果。本发明的检测精度与现存基于像素强度的方法基本一致，不需要大量标注数据的，且本发明的方法降低了复杂度，检测时间短，检测一张图像仅需不到1秒的时间，大大提高了检测效率；本发明的针对眼底荧光造影图像的处理方法对眼底疾病的辅助诊断具有潜在的医学价值。

Description

基于弱监督学习的眼底荧光造影图像渗漏点检测方法
技术领域
本发明涉及医学图像处理领域，特别涉及一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法。
背景技术
眼底荧光造影技术能够反映疾病早期视网膜屏障的受损状态，是眼底疾病诊断的“金标准”。眼底荧光造影图像中渗漏点的检测是眼底疾病诊断和治疗的重要步骤。目前在临床诊断中，眼底荧光渗漏点的检测通常是由专家进行人为标注，这种人工标注的方法不仅费时费力，还会引入人为误差。所以，提出一种有效的自动眼底荧光渗漏点检测方法是十分必要的。
现存自动眼底荧光渗漏点检测方法可大致分为两类：基于像素强度的方法和基于有监督学习的方法。基于像素强度的方法主要是通过对像素强度信息进行提取和分析以达到渗漏点检测的目的。此类方法虽然在渗漏点的检测中能够达到很高的检测精度和灵敏度，但是此方法的时间复杂度高，检测时间长，检测一幅图像需要20秒左右的时间。而基于有监督学习的方法高度依赖于标注数据的质量，此外，大量由专业医生标注的数据是很难获得的，这就在一定程度上限制了此类方法的泛化性能。
所以现在需要一种更可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，以解决现有方法存在的方法复杂度高、检测时间长、需要大量标注数据的问题。
本发明的方法的核心思想为设计一个网络使其能够在输入图像和目标图像不成对的情况下，实现根据输入的异常眼底荧光造影图像生成其对应的正常表现的荧光造影图像；然后通过将异常图像与生成的正常图像做差，再进行二值化处理实现渗漏点的检测。由该方法的核心思想可知，该方法的重点和难点在于所设计的网络能够准确生成荧光渗漏点区域对应的正常表现，而保持异常图像中正常区域的不变，如此才可保证渗漏点的准确检测。
为实现上述目的，本发明采用的技术方案是：一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，包括以下步骤：
1)从采集的眼底荧光造影图像报告中，筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；
2)在步骤1所筛选出的荧光造影图像报告中，选择荧光造影图像作为训练数据集；
3)将训练数据集输入到预先设计的检测网络模型中，以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练，且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练，保存训练好的检测网络模型；
4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像，然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差，得到的图像再使用图像二值化方法处理，即得渗漏点的检测结果。
优选的是，所述检测网络模型包括两个生成网络、两个判别网络以及损失函数L，所述生成网络根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像；
所述判别网络对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别；
所述损失函数L用于保证所述检测网络模型的稳定训练以及生成与真实眼底荧光造影图像尽可能一致的图像。
优选的是，所述生成网络包括若干残差注意力模块，所述残差注意力模块包括2个卷积核大小为3x3的卷积层和一个卷积注意力模块，所述卷积注意力模块包括通道注意力模块和空间注意力模块。
优选的是，所述通道注意力模块包括平均池化层、最大池化层和3个全连接层；
所述空间注意力模块包括平均池化层、最大池化层、concat层、卷积层以及激活函数。
优选的是，所述判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层，其中，4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数。
优选的是，所述损失函数L包括对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask，所述损失函数L的表达式为：
L＝αLGAN+βLcc+λLmask；
其中，α，β，λ分别对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask的权重；
两个生成网络分别为生成网络GA2N和生成网络GN2A，两个判别网络分别为判别网络DA和判别网络DN，所述对抗损失函数LGAN的表达式为：
Figure BDA0002981074530000031
其中，xa为异常荧光造影图像，GA2N(xa)为生成网络GA2N根据xa生成的正常荧光造影图像；xn为正常荧光造影图像，GN2A(xn)为生成器GN2A根据xn生成的异常荧光造影图像，Epa和Epn是用来表示求期望的符号；
所述循环一致性损失函数Lcc的表达式为：
Figure BDA0002981074530000033
所述掩模损失函数Lmask的表达式为：
Figure BDA0002981074530000032
其中，Mx为异常荧光造影图像对应的类激活图的二值化图。
优选的是，其中，异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤：
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类；
Ⅱ、采用梯度权重类激活图方法，基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化，生成相应的类激活图，其中的关注点即荧光渗漏点所在区域；
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理，进而得到异常荧光造影图像对应的掩模图像。
优选的是，其中，α＝1，β＝10，λ＝10。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：本发明通过基于弱监督学习的方法实现了眼底荧光造影点的自动检测，本发明的方法的检测精度与现存基于像素强度的方法基本一致，不需要大量标注数据的，且本发明的方法降低了复杂度，检测时间短，检测一张图像仅需不到1秒的时间，大大提高了检测效率；本发明的针对眼底荧光造影图像的处理方法对眼底疾病的辅助诊断具有潜在的医学价值。
附图说明
图1为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的流程图；
图2为本发明的实施例1中的四类眼底荧光血管造影图像；
图3为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的原理示意图；
图4为本发明的检测网络模型的结构图；
图5为本发明的实施例1中的ResNet18网络的结构图；
图6为本发明的实施例1中的掩模图像计算结果；
图7为本发明的方法在公开数据集中的检测结果；
图8为本发明的方法在临床数据集中的检测结果。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
本实施例的一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，包括以下步骤：
S1、采集数据
从采集的眼底荧光造影图像报告中，筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；其中含有荧光渗漏的异常荧光造影图像报告具体包括三类：含有视盘渗漏、块状渗漏和点状渗漏的荧光造影图像报告。参照图2，为四类眼底荧光造影图像。在所筛选出的荧光造影图像报告中，选择造影后期5-6分钟的荧光造影图像荧光造影图像作为训练数据集。
本实施例中，采集的荧光造影图像来自于常州第三人民医院，在2011年3月至2019年9月之间，来自462位患者的852只眼，年龄在7到86岁之间，通过海德堡共焦眼底血管造影仪(Spectralis HRA)实施眼底荧光素血管造影。眼底图像分辨率均为768x768像素，视场为30°，45°，和60°。
S2、数据整理
将训练数据集中的正常荧光造影图像既作为输入图像集也作为目标图像集，含有三种类型渗漏点的异常图像既作为输入图像集也作为目标图像集。
S3、构建检测网络模型并进行训练
将训练数据集输入到预先设计的检测网络模型中，以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练，且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练，保存训练好的检测网络模型。
本实施例中，检测网络模型包括两个生成网络(GA2N和GN2A)、两个判别网络(DN和DA)以及损失函数L，生成网络的主要任务是根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像；
判别网络的主要任务是对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别；
损失函数L用于保证检测网络模型的稳定训练，以及使网络重点关注于荧光渗漏点及其周围区域的正常化生成，从而生成与真实眼底荧光造影图像尽可能一致的图像。
参照图4(b)和(c)，在一种优选的实施例中，生成网络包括9层残差注意力模块(图4中的Residual Block)，残差注意力模块包括2个卷积核大小为3x3的卷积层、一个卷积注意力模块以及激活函数ReLu，卷积注意力模块包括通道注意力模块和空间注意力模块。卷积注意力模块的加入可有助于网络对不同尺度、不同维度重要信息的提取。
其中，通道注意力模块包括平均池化层(图4中的Channel-wise Avg pooling)、最大池化层(图4中的Channel-wise Max pooling)和3个全连接层(图4中的FC)；在该模块中首先对输入的原始特征分别进行通道层的平均池化和最大池化操作，将池化操作后提取的向量作为3层全连接网络的输入，以生成通道层的权重值，将这些权重值应用于不同的特征通道上以实现对通道层的增强，权值越大的通道层其关注度越高。
其中，空间注意力模块包括平均池化层(图4中的Pixel-wise Avg pooling)、最大池化层(图4中的Pixel-wise Max pooling)、concat层、卷积层以及激活函数。在空间注意力模块中，对经过通道增强后的特征进行空间层的平均池化和最大池化操作，并将池化后的特征输入卷积层以得到空间层的权重分布，并以此权重系数来增强空间层的表示。
参照图4(d)，判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层，其中，4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数(ReLU或Tanh)。经过最后一层的1x1的卷积层可输出一个图像真伪的判断矩阵，矩阵中的每个元素分别代表判别网络对每个图像块的判断结果。
为保证网络的稳定训练并能生成与真实图像尽可能一致的图像，在一种优选的实施例中，损失函数L包括对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask，损失函数L的表达式为：
L＝αLGAN+βLcc+λLmask；
其中，α，β，λ分别对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask的权重，用于衡量对每个损失函数的重视程度；在一种进一步优选的实施例中，经大量试验确定选择：α＝1，β＝10，λ＝10，此时可得到最好的图像生成以及渗漏点检测效果。
两个生成网络分别为生成网络GA2N和生成网络GN2A，两个判别网络分别为判别网络DA和判别网络DN，本发明的方法使用的是双向转换模型，同时训练两个生成网络(GA2N,GN2A)和两个判别网络(DA,DN)，其中，对抗损失函数LGAN的表达式为：
Figure BDA0002981074530000071
其中，xa为异常荧光造影图像，GA2N(xa)为生成网络GA2N根据xa生成的正常荧光造影图像；xn为正常荧光造影图像，GN2A(xn)为生成器GN2A根据xn生成的异常荧光造影图像，Epa和Epn是用来表示求期望的符号。
其中，循环一致性损失函数用于保证生成的图像是输入图像所对应的图像形式，循环一致性损失函数Lcc的表达式为：
Figure BDA0002981074530000072
为使生成器GA2N能够重点关注于渗漏点及周围异常区域的生成，而保持正常区域不发生变化，本发明提出了一个掩模损失函数，该掩模损失函数Lmask的表达式为：
Figure BDA0002981074530000073
其中，Mx为异常荧光造影图像对应的类激活图的二值化图。
进一步的实施例中，异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤：
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类；参照图5为ResNet18网络的结构图，分类训练中使用的是迁移学习技术，本实施例中将ResNet18网络的低层权重固定，并将最后一层的全连接层输出节点数设置2，通过对剩余层进行训练以实现对异常和正常眼底荧光造影图像的分类，最终得到了99.3％的分类准确率。
Ⅱ、采用梯度权重类激活图方法，基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化，生成相应的类激活图，其中的关注点即荧光渗漏点所在区域；
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理，进而得到异常荧光造影图像对应的掩模图像。参照图6，为掩模图像计算结果。
S4、眼底荧光造影图像渗漏点检测
将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像，然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差，得到的图像再使用图像二值化方法处理，即得渗漏点的检测结果。参照图7至8，分别为本发明的方法在公开数据集和临床数据集上的生成结果。本实施例中，检测一张图像仅需不到1秒的时间。
实施例2
一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。
实施例3
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，包括以下步骤：
1)从采集的眼底荧光造影图像报告中，筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告；
2)在步骤1所筛选出的荧光造影图像报告中，选择荧光造影图像作为训练数据集；
3)将训练数据集输入到预先设计的检测网络模型中，以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练，且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练，保存训练好的检测网络模型；
4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中，该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像，然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差，得到的图像再使用图像二值化方法处理，即得渗漏点的检测结果。
2.根据权利要求1所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，所述检测网络模型包括两个生成网络、两个判别网络以及损失函数L，所述生成网络根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像；
所述判别网络对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别；
所述损失函数L用于保证所述检测网络模型的稳定训练以及生成与真实眼底荧光造影图像尽可能一致的图像。
3.根据权利要求2所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，所述生成网络包括若干残差注意力模块，所述残差注意力模块包括2个卷积核大小为3x3的卷积层和一个卷积注意力模块，所述卷积注意力模块包括通道注意力模块和空间注意力模块。
4.根据权利要求3所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，所述通道注意力模块包括平均池化层、最大池化层和3个全连接层；
所述空间注意力模块包括平均池化层、最大池化层、concat层、卷积层以及激活函数。
5.根据权利要求4所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，所述判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层，其中，4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数。
6.根据权利要求5所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，所述损失函数L包括对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask，所述损失函数L的表达式为：
L＝αLGAN+βLcc+λLmask；
其中，α，β，λ分别对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask的权重；
两个生成网络分别为生成网络GA2N和生成网络GN2A，两个判别网络分别为判别网络DA和判别网络DN，所述对抗损失函数LGAN的表达式为：
Figure FDA0002981074520000021
其中，xa为异常荧光造影图像，GA2N(xa)为生成网络GA2N根据xa生成的正常荧光造影图像；xn为正常荧光造影图像，GN2A(xn)为生成器GN2A根据xn生成的异常荧光造影图像，Epa和Epn是用来表示求期望的符号；
所述循环一致性损失函数Lcc的表达式为：
Figure FDA0002981074520000022
所述掩模损失函数Lmask的表达式为：
Figure FDA0002981074520000023
其中，Mx为异常荧光造影图像对应的类激活图的二值化图。
7.根据权利要求6所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，其中，异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤：
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类；
Ⅱ、采用梯度权重类激活图方法，基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化，生成相应的类激活图，其中的关注点即荧光渗漏点所在区域；
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理，进而得到异常荧光造影图像对应的掩模图像。
8.根据权利要求6所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法，其特征在于，其中，α＝1，β＝10，λ＝10。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-8中任意一项所述的方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述的方法。
CN202110287441.4A 2021-03-17 2021-03-17 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 Active CN112967260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287441.4A CN112967260B (zh) 2021-03-17 2021-03-17 基于弱监督学习的眼底荧光造影图像渗漏点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287441.4A CN112967260B (zh) 2021-03-17 2021-03-17 基于弱监督学习的眼底荧光造影图像渗漏点检测方法

Publications (2)

Publication Number Publication Date
CN112967260A true CN112967260A (zh) 2021-06-15
CN112967260B CN112967260B (zh) 2024-01-26

Family

ID=76279034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287441.4A Active CN112967260B (zh) 2021-03-17 2021-03-17 基于弱监督学习的眼底荧光造影图像渗漏点检测方法

Country Status (1)

Country Link
CN (1) CN112967260B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612484A (zh) * 2022-03-07 2022-06-10 中国科学院苏州生物医学工程技术研究所 基于无监督学习的视网膜oct图像分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
US20190304092A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
KR20200093502A (ko) * 2020-07-28 2020-08-05 서울대학교병원 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
US20200265276A1 (en) * 2019-02-14 2020-08-20 Siemens Healthcare Gmbh Copd classification with machine-trained abnormality detection
WO2020200030A1 (zh) * 2019-04-02 2020-10-08 京东方科技集团股份有限公司 神经网络的训练方法、图像处理方法、图像处理装置和存储介质
CN111902071A (zh) * 2018-01-19 2020-11-06 学校法人庆应义塾 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序
US20200394790A1 (en) * 2019-06-12 2020-12-17 Siemens Healthcare Gmbh Provision of a differential image dataset and a trained generator function
CN112233017A (zh) * 2020-10-28 2021-01-15 中国科学院合肥物质科学研究院 一种基于生成对抗网络的病态人脸数据增强方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902071A (zh) * 2018-01-19 2020-11-06 学校法人庆应义塾 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序
US20190304092A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US20200265276A1 (en) * 2019-02-14 2020-08-20 Siemens Healthcare Gmbh Copd classification with machine-trained abnormality detection
WO2020200030A1 (zh) * 2019-04-02 2020-10-08 京东方科技集团股份有限公司 神经网络的训练方法、图像处理方法、图像处理装置和存储介质
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
US20200394790A1 (en) * 2019-06-12 2020-12-17 Siemens Healthcare Gmbh Provision of a differential image dataset and a trained generator function
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
KR20200093502A (ko) * 2020-07-28 2020-08-05 서울대학교병원 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
CN112233017A (zh) * 2020-10-28 2021-01-15 中国科学院合肥物质科学研究院 一种基于生成对抗网络的病态人脸数据增强方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612484A (zh) * 2022-03-07 2022-06-10 中国科学院苏州生物医学工程技术研究所 基于无监督学习的视网膜oct图像分割方法

Also Published As

Publication number Publication date
CN112967260B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
Chen Design of accurate classification of COVID-19 disease in X-ray images using deep learning approach
Umri et al. Detection of COVID-19 in chest X-ray image using CLAHE and convolutional neural network
CN112102256B (zh) 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
Saranya et al. Detection and classification of red lesions from retinal images for diabetic retinopathy detection using deep learning models
Song et al. Deep relation transformer for diagnosing glaucoma with optical coherence tomography and visual field function
Luo et al. A deep convolutional neural network for diabetic retinopathy detection via mining local and long‐range dependence
CN112862756A (zh) 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法
KR20200135171A (ko) 의료 영상에서 악성의심 병변을 구별하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
CN112967260A (zh) 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
Zhuang et al. An interpretable multi-task system for clinically applicable COVID-19 diagnosis using CXR
Kumar et al. Automatic detection of red lesions in digital color retinal images
Liu et al. A cross-lesion attention network for accurate diabetic retinopathy grading with fundus images
AlSumairi et al. X-ray image based pneumonia classification using convolutional neural networks
Patil et al. Emphasize of Deep CNN for Chest Radiology Images in the detection of COVID
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
Yumeng et al. Pneumonia Detection in chest X-rays: A deep learning approach based on ensemble RetinaNet and Mask R-CNN
Saglam et al. COVID-19 Detection from X-ray Images Using a New CNN Approach
Elsawah et al. Deep Learning Grading System for Diabetic Retinopathy using Fundus Images.
CN111652840B (zh) 一种x光胸透图像肺部浑浊筛查分类装置
Nandhini et al. Detection of glaucoma using convolutional neural network (CNN) with super resolution generative adversarial network (SRGAN)
Mathias et al. Categorization of diabetic retinopathy and identification of characteristics to assist effective diagnosis
Mousavi et al. YOLO for Lung Disease Detection from CT Scans
Wu et al. Weakly-supervised lesion analysis with a CNN-based framework for COVID-19
Malekian et al. Computer aided measurement of sub-epithelial collagen band in colon biopsies for collagenous colitis diagnosis
Xia et al. A Framework for Identifying Diabetic Retinopathy Based on patch attention and lesion location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant