CN112950737A - 基于深度学习的眼底荧光造影图像生成方法 - Google Patents

基于深度学习的眼底荧光造影图像生成方法 Download PDF

Info

Publication number
CN112950737A
CN112950737A CN202110286169.8A CN202110286169A CN112950737A CN 112950737 A CN112950737 A CN 112950737A CN 202110286169 A CN202110286169 A CN 202110286169A CN 112950737 A CN112950737 A CN 112950737A
Authority
CN
China
Prior art keywords
image
fundus
fluorography
loss function
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110286169.8A
Other languages
English (en)
Other versions
CN112950737B (zh
Inventor
史国华
李婉越
何益
孔文
王晶
陈一巍
包明帝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110286169.8A priority Critical patent/CN112950737B/zh
Publication of CN112950737A publication Critical patent/CN112950737A/zh
Application granted granted Critical
Publication of CN112950737B publication Critical patent/CN112950737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/404—Angiography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于深度学习的眼底荧光造影图像生成方法，包括以下步骤：S1、采集眼底荧光造影图像；S2、构建训练数据集；S3、对训练数据集进行预处；S4、构建并训练用于生成眼底荧光造影图像的图像处理网络模型；S5、将待处理的眼底结构图像输入到训练好的图像处理网络模型中，自动生成对应的眼底荧光造影图像。本发明通过深度学习的方法实现了通过眼底结构图像生成眼底荧光造影图像的目的，相比现有的眼底荧光造影图像生成方法，本发明的方法能够在眼底血管结构精确生成的同时，还能对眼底荧光渗漏点的生成具有较好的效果；本发明的眼底医学图像处理方法对眼底相关疾病的预防、诊断和指导检查具有潜在的医学价值。

Description

基于深度学习的眼底荧光造影图像生成方法
技术领域
本发明涉及医学图像处理领域，特别涉及一种基于深度学习的眼底荧光造影图像生成方法。
背景技术
眼底血管造影是眼科临床诊断中常用的检查技术，该成像技术能够在活体人眼中反映出视网膜屏障的受损状态，动态捕捉视网膜大血管至毛细血管的生理、病理情况，被誉为眼底疾病诊断的“金标准”。然而，由于在造影成像的过程中需要静脉注射造影剂，所以该技术会禁用于严重高血压、心脏病等患者，而且还可能会引起一些副反应。因此，使用图像生成的方法准确地生成眼底结构图像对应的眼底荧光造影图像，对眼底相关疾病的预防、辅助诊断和指导检查具有重要意义。
现存眼底荧光造影图像生成的相关方法根据对数据集中图像对的要求可分为两类，即成对图像生成方法和不成对图像生成方法。不成对方法虽能消除图像不成对的问题，却无法精确生成造影图像中血管结构及渗漏点信息；现存成对眼底荧光造影图像生成方法相较于不成对的方法在血管结构的生成上具有更好的效果，但仍无法准确地生成渗漏点的信息。
发明内容
本发明的目的旨在解决上述现有方法存在的无法准确生成眼底荧光造影图像中渗漏点的问题。为解决此问题并使得提出的方法更加具有医学应用价值，本发明提出了一种基于条件生成网络和局部显著损失的眼底荧光造影图像生成方法，该方法属于成对的方法，其可应用于正常的荧光造影图像以及常见渗漏类型(视盘渗漏、块状渗漏、点状渗漏)的荧光造影图像的生成中。
为实现上述目的，本发明采用的技术方案是：一种基于深度学习的眼底荧光造影图像生成方法，包括以下步骤：
S1、从采集的眼底荧光造影图像报告中，筛选出四种眼底荧光造影报告，包括：正常的眼底荧光造影报告以及含有视盘渗漏、含有块状渗漏和含有点状渗漏的眼底荧光造影报告；
S2、在所述步骤S1所筛选出来的眼底荧光造影图像报告中，分别选择四种眼底荧光造影报告的眼底结构图像及对应的造影后期的眼底荧光造影图像，构建为训练数据集；
S3、对训练数据集进行预处理；
S4、将预处理后的训练数据集中的眼底结构图像作为输入图像、眼底荧光造影图像作为要学习的目标图像，一起输入到预先设计的图像处理网络中进行训练，得到训练好的图像处理网络模型；
S5、将待处理的眼底结构图像输入到训练好的图像处理网络模型中，自动生成对应的眼底荧光造影图像；
其中，所述图像处理网络包括基于若干层残差块的生成网络、基于马尔科夫判别器的判别网络以及损失函数L，所述生成网络用于根据输入的眼底结构图像生成对应的眼底荧光造影图像，所述判别网络用于对所述生成网络生成的眼底荧光造影图像和输入的真实眼底荧光造影图像进行区分，所述损失函数L包括对抗损失函数LGAN、像素空间损失函数Lpixel、特征空间损失函数Lperceptual和局部显著图损失函数Lsal，所述损失函数用于保证所述图像处理网络的稳定训练以及生成与真实眼底荧光造影图像尽可能相同的图像。
优选的是，所述生成网络包括9层残差块，其中每个残差块包含两个卷积核大小为3x3的卷积层，每一个卷积层后面均具有一个线性整流激活函数ReLU。
优选的是，所述判别网络包括4个卷积层和一个全连接层，其中，每个卷积层的卷积核大小均为4x4，且每个卷积层的后面均具有一个改进的线性整流激活函数Leaky ReLu，全连接层的后面具有一个sigmoid激活函数。
优选的是，所述图像处理网络的损失函数L由下式表示：
L＝LGAN+αLpixel+βLperceptual+γLsal，
其中，α，β，γ分别为像素空间的损失函数、特征空间的损失函数以及局部显著图损失函数各自对应的权重；
所述对抗损失函数LGAN的表达式为：
Figure BDA0002980566150000031
其中，
Figure BDA0002980566150000032
表示眼底结构图像Is生成的眼底荧光造影图像，
Figure BDA0002980566150000033
表示判别器
Figure BDA0002980566150000034
对生成的眼底荧光造影图像的判别结果，N表示图像的数量；
所述像素空间损失函数Lpixel的表达式为：
Figure BDA0002980566150000035
其中，IF表示输入的真实眼底荧光造影图像，W、H分别为图像的尺寸，x,y为像素的位置；
所述特征空间损失函数Lperceptual的表达式为：
Figure BDA0002980566150000036
其中，
Figure BDA0002980566150000037
是第i个池化层之前的第j个卷积层所获得的特征图，Wi,j和Hi,j是
Figure BDA0002980566150000038
的维度；
所述局部显著图损失函数Lsal的表达式为：
Figure BDA0002980566150000039
其中，
Figure BDA00029805661500000310
和
Figure BDA00029805661500000311
分别表示真实眼底荧光造影图像IF和生成的眼底造影图像
Figure BDA00029805661500000312
的局部显著图。
优选的是，眼底荧光造影图像的局部显著图计算方法为：
首先使用中值滤波器对眼底荧光造影图像进行滤波操作以得到其背景图像Ib，其中中值滤波器的滤波核的尺寸应大于最大血管直径且小于最小视盘的直径；接着，使用高斯滤波器来对输入的眼底荧光造影图像去噪；最后通过将去噪后的图像Ifiltered与背景图像Ib做差即可得到眼底荧光造影图像的局部显著图Isal，表达式为：
Isal＝a(Ifiltered-Ib)，
其中，a为用于控制图像对比度的参数。
优选的是，眼底荧光造影图像的局部显著图计算方法中，中值滤波器核大小为51x51，高斯滤波器核大小为7x7。
优选的是，所述步骤S3中的数据预处理过程具体包括：
S3-1、使用开源的眼底图像多模态配准方法对眼底结构图像和眼底荧光造影图像进行配准；
S3-2、手动剔除配准精度低于预先设定的阈值的图像对；
S3-3、对配准的区域进行图像块的提取操作，所述图像块的大小为512x512像素；
S3-4、针对带有黑边框的图像，通过掩模图像来将提取的图像块显示为原来的样式。
优选的是，所述步骤S3-4中，所述掩模中包含一个圆形区域，该圆形区域的直径为图像块的长度，在该圆形区域内部的像素值均为1，处于在该圆形区域外部的像素值均为0。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：本发明通过深度学习的方法实现了通过眼底结构图像生成眼底荧光造影图像的目的，相比现有的眼底荧光造影图像生成方法，本发明的方法能够在眼底血管结构精确生成的同时，还能对眼底荧光渗漏点的生成具有较好的效果；本发明的眼底医学图像处理方法对眼底相关疾病的预防、诊断和指导检查具有潜在的医学价值。
附图说明
图1为本发明的基于深度学习的眼底荧光造影图像生成方法的流程图；
图2为一种实施例本发明所应用的四类眼底荧光血管造影图像的示意图；
图3为实施例1中训练数据集中眼底图像的显示样式；
图4为本发明的实施例1中的图像处理网络的结构图；
图5为本发明的实施例1中的眼底荧光造影图像的局部显著图计算流程；
图6为本发明中实施例1的方法在临床数据集中的眼底荧光造影图像生成效果；
图7为本发明中实施例1的方法在公开数据集中的眼底荧光造影图像生成效果。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
本实施例提供一种基于深度学习的眼底荧光造影图像生成方法，包括以下步骤：
S1、采集眼底荧光造影图像
从采集的眼底荧光造影图像报告中，筛选出四种眼底荧光造影报告，包括：正常的眼底荧光造影报告以及含有视盘渗漏、含有块状渗漏和含有点状渗漏的眼底荧光造影报告；本实施例中的方法用于正常的荧光造影图像以及常见渗漏类型(视盘渗漏、块状渗漏、点状渗漏)的荧光造影图像的生成，该四类荧光造影图像如图2所示。
本实施例中，采集的荧光造影图像均来自于常州第三人民医院，在2011年3月至2019年9月之间，来自802名患者的1450只眼，年龄在7岁至86岁，通过海德堡共焦眼底血管造影仪(Spectralis HRA)实施眼底荧光素血管造影；其中，眼底图像分辨率均为768x768像素，视场为30°，45°，和60°。
S2、构建训练数据集
在所述步骤S1所筛选出来的眼底荧光造影图像报告中，分别选择四种眼底荧光造影报告的眼底结构图像及对应的造影后期5至6分钟的眼底荧光造影图像，构建为训练数据集；
S3、对训练数据集进行预处理
由于本发明的任务是能够精准生成眼底结构图像对应的眼底荧光造影图像，因此本发明中采用的方法是成对的图像转换方法。
本实施例中，数据预处理步骤具体包括：
S3-1、使用开源的眼底图像多模态配准方法对眼底结构图像和眼底荧光造影图像进行配准；
S3-2、手动剔除配准精度低于预先设定的阈值的图像对；由于开源配准方法本身性能以及图像质量的影响，会出现配准结果不准确的问题。因此，通过手动剔除的方式将未能准确配准的图像对进行剔除；
S3-3、对配准的区域进行图像块的提取操作，所述图像块的大小为512x512像素；
S3-4、在该数据集中包含两种显示样式的图像，一种如图3的样式1(无黑边框)，一种如图3的样式2(有黑边框)。对于样式1的图像直接进行图像块的提取即可；而对于样式2的带有黑边框的图像，本实施例中，为使提取后的图像块保持原来的显示样式，设计了一个掩模图像来将提取的图像块显示为原来的样式，以保证网络对于图像显示样式的鲁棒性。所述掩模中包含一个圆形区域，该圆形区域的直径为图像块的长度，在该圆形区域内部的像素值均为1，处于在该圆形区域外部的像素值均为0。
S4、构建并训练用于生成眼底荧光造影图像的图像处理网络模型
将预处理后的训练数据集中的眼底结构图像作为输入图像、眼底荧光造影图像作为要学习的目标图像，一起输入到预先设计的图像处理网络中进行训练，得到训练好的图像处理网络模型；
其中，所述图像处理网络包括基于若干层残差块的生成网络、基于马尔科夫判别器的判别网络以及损失函数L，所述生成网络用于根据输入的眼底结构图像生成对应的眼底荧光造影图像，所述判别网络用于对所述生成网络生成的眼底荧光造影图像和输入的真实眼底荧光造影图像进行区分，所述损失函数L包括对抗损失函数LGAN、像素空间损失函数Lpixel、特征空间损失函数Lperceptual和局部显著图损失函数Lsal，所述损失函数用于保证所述图像处理网络的稳定训练以及生成与真实眼底荧光造影图像尽可能相同的图像。
具体的，参照图4，在一种优选的实施例中，所述生成网络包括9层残差块，其中每个残差块包含两个卷积核大小为3x3的卷积层，每一个卷积层后面均具有一个线性整流激活函数ReLU。进一步的，生成网络还包括2个卷积核大小为7x7的卷积层(如图4所示，设置在生成网络前后两端)，4个核为3x3的卷积层(如图4所示，2个设置在前部，2个设置在后部)。其中，所述判别网络包括4个卷积层和一个全连接层，其中，每个卷积层的卷积核大小均为4x4，且每个卷积层的后面均具有一个改进的线性整流激活函数Leaky ReLu，全连接层的后面具有一个sigmoid激活函数用于输出判别网络的最终判别结果。
在一种优选的实施例中，为保证生成的眼底荧光造影图像与真实的眼底荧光造影图像尽可能一致，使用的损失函数是由对抗损失函数、基于像素空间的损失函数、基于特征空间的损失函数以及局部显著图损失函数4部分组成，其中，局部显著图损失函数主要是为了使得网络更加关注于眼底血管结构以及荧光渗漏点信息的生成。
具体的，所述图像处理网络的损失函数L由下式表示：
L＝LGAN+αLpixel+βLperceptual+γLsal，
其中，α，β，γ分别为像素空间的损失函数、特征空间的损失函数以及局部显著图损失函数各自对应的权重；用于衡量对每个损失函数的重视程度。经大量实验验证，在进一步优选的实施例中，α＝100，β＝0.001，γ＝1，此时可得到最好的图像生成效果。
抗损失函数LGAN：
所述对抗损失函数LGAN的表达式为：
Figure BDA0002980566150000071
其中，
Figure BDA0002980566150000072
表示眼底结构图像Is生成的眼底荧光造影图像，
Figure BDA0002980566150000073
表示判别器
Figure BDA0002980566150000074
对生成的眼底荧光造影图像的判别结果，N表示图像的数量。
像素空间损失函数Lpixel：
本实施例中，使用像素空间损失函数Lpixel损失函数来保证根据眼底结构图像Is生成的眼底荧光造影图像
Figure BDA0002980566150000075
与真实的目标眼底荧光造影图像IF在内容上的一致性，所述像素空间损失函数Lpixel的表达式为：
Figure BDA0002980566150000076
其中，IF表示输入的真实眼底荧光造影图像，W、H分别为图像的尺寸，x,y为像素的位置。
特征空间损失函数Lperceptual：
在特征空间上对图像进行比较有助于图像纹理细节的生成。特征空间损失函数主要是通过将生成的眼底荧光造影图像和目标荧光造影图像送入已训练好的卷积神经网络。本实施例中，所述特征空间损失函数Lperceptual的表达式为：
Figure BDA0002980566150000081
其中，
Figure BDA0002980566150000082
是第i个池化层之前的第j个卷积层所获得的特征图，Wi,j和Hi,j是
Figure BDA0002980566150000083
的维度。
局部显著图损失函数Lsal：
为保证能够准确地生成眼底血管结构以及荧光渗漏点信息，本发明中提出了一个局部显著图损失以使得生成的荧光造影图像和真实的造影图像能够在显著图的层面上进行比较。本实施例中，所述局部显著图损失函数Lsal的表达式为：
Figure BDA0002980566150000084
其中，
Figure BDA0002980566150000085
和
Figure BDA0002980566150000086
分别表示真实眼底荧光造影图像IF和生成的眼底造影图像
Figure BDA0002980566150000087
的局部显著图。
常用的荧光造影图像局部显著图的计算方法大多是基于图像像素的变化而实现的，这种方法虽然效果较好，但耗时长，不能满足我们网络实时计算的要求，所以，本发明中提出了一种简单、有效、快速的眼底荧光造影图像显著图计算的方法。该方法的主要思想为：一张眼底图像可以看作是由背景图像和仅包含血管结构，视盘，以及可见病灶点的前景图像所组成的。而视盘，血管结构，以及病灶点正是在眼底荧光造影图像生成中最应关注的位置，所以一旦能够得到眼底荧光造影图像的前景图即可得到其局部显著图。
本实施例中，参照图5，眼底荧光造影图像的局部显著图计算方法为：首先使用大尺度的中值滤波器对眼底荧光造影图像进行滤波操作以得到其背景图像Ib，其中中值滤波器的滤波核的尺寸应大于最大血管直径(约15个像素)且小于最小视盘的直径(约120个像素)；接着，使用高斯滤波器来对输入的眼底荧光造影图像去噪；最后通过将去噪后的图像Ifiltered与背景图像Ib做差即可得到眼底荧光造影图像的局部显著图Isal，表达式为：
Isal＝a(Ifiltered-Ib)，
其中，a为用于控制图像对比度的参数。
在一种优选的实施例中，眼底荧光造影图像的局部显著图计算方法中，中值滤波器核大小为51x51(即图5中的Median filtering Kernel)，高斯滤波器核大小为7x7(即图5中的Gaussian filtering Kernel)。
S5、将待处理的眼底结构图像输入到训练好的图像处理网络模型中，自动生成对应的眼底荧光造影图像
如附图6和7所示，分别为本发明的方法在临床数据集和公开数据集上的生成结果，其中的“方法生成荧光造影图像”即指本发明的方法生成的眼底荧光造影图像，可以看出，本发明的方法能够在眼底血管结构精确生成的同时，也能对眼底荧光渗漏点的生成具有较好的效果。
实施例2
一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1所述的方法。
实施例3
一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种基于深度学习的眼底荧光造影图像生成方法，其特征在于，包括以下步骤：
S1、从采集的眼底荧光造影图像报告中，筛选出四种眼底荧光造影报告，包括：正常的眼底荧光造影报告以及含有视盘渗漏、含有块状渗漏和含有点状渗漏的眼底荧光造影报告；
S2、在所述步骤S1所筛选出来的眼底荧光造影图像报告中，分别选择四种眼底荧光造影报告的眼底结构图像及对应的造影后期的眼底荧光造影图像，构建为训练数据集；
S3、对训练数据集进行预处理；
S4、将预处理后的训练数据集中的眼底结构图像作为输入图像、眼底荧光造影图像作为要学习的目标图像，一起输入到预先设计的图像处理网络中进行训练，得到训练好的图像处理网络模型；
S5、将待处理的眼底结构图像输入到训练好的图像处理网络模型中，自动生成对应的眼底荧光造影图像；
其中，所述图像处理网络包括基于若干层残差块的生成网络、基于马尔科夫判别器的判别网络以及损失函数L，所述生成网络用于根据输入的眼底结构图像生成对应的眼底荧光造影图像，所述判别网络用于对所述生成网络生成的眼底荧光造影图像和输入的真实眼底荧光造影图像进行区分，所述损失函数L包括对抗损失函数LGAN、像素空间损失函数Lpixel、特征空间损失函数Lperceptual和局部显著图损失函数Lsal，所述损失函数用于保证所述图像处理网络的稳定训练以及生成与真实眼底荧光造影图像尽可能相同的图像。
2.根据权利要求1所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，所述生成网络包括9层残差块，其中每个残差块包含两个卷积核大小为3x3的卷积层，每一个卷积层后面均具有一个线性整流激活函数ReLU。
3.根据权利要求2所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，所述判别网络包括4个卷积层和一个全连接层，其中，每个卷积层的卷积核大小均为4x4，且每个卷积层的后面均具有一个改进的线性整流激活函数Leaky ReLu，全连接层的后面具有一个sigmoid激活函数。
4.根据权利要求3所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，所述图像处理网络的损失函数L由下式表示：
L＝LGAN+αLpixel+βLperceptual+γLsal，
其中，α，β，γ分别为像素空间的损失函数、特征空间的损失函数以及局部显著图损失函数各自对应的权重；
所述对抗损失函数LGAN的表达式为：
Figure FDA0002980566140000021
其中，
Figure FDA0002980566140000022
表示眼底结构图像Is生成的眼底荧光造影图像，
Figure FDA0002980566140000023
表示判别器
Figure FDA0002980566140000024
对生成的眼底荧光造影图像的判别结果，N表示图像的数量；
所述像素空间损失函数Lpixel的表达式为：
Figure FDA0002980566140000025
其中，IF表示输入的真实眼底荧光造影图像，W、H分别为图像的尺寸，x,y为像素的位置；
所述特征空间损失函数Lperceptual的表达式为：
Figure FDA0002980566140000026
其中，
Figure FDA0002980566140000027
是第i个池化层之前的第j个卷积层所获得的特征图，Wi,j和Hi,j是
Figure FDA0002980566140000028
的维度；
所述局部显著图损失函数Lsal的表达式为：
Figure FDA0002980566140000029
其中，
Figure FDA00029805661400000210
和
Figure FDA00029805661400000211
分别表示真实眼底荧光造影图像IF和生成的眼底造影图像
Figure FDA00029805661400000212
的局部显著图。
5.根据权利要求4所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，眼底荧光造影图像的局部显著图计算方法为：
首先使用中值滤波器对眼底荧光造影图像进行滤波操作以得到其背景图像Ib，其中中值滤波器的滤波核的尺寸应大于最大血管直径且小于最小视盘的直径；接着，使用高斯滤波器来对输入的眼底荧光造影图像去噪；最后通过将去噪后的图像Ifiltered与背景图像Ib做差即可得到眼底荧光造影图像的局部显著图Isal，表达式为：
Isal＝a(Ifiltered-Ib)，
其中，a为用于控制图像对比度的参数。
6.根据权利要求5所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，眼底荧光造影图像的局部显著图计算方法中，中值滤波器核大小为51x51，高斯滤波器核大小为7x7。
7.根据权利要求1所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，所述步骤S3中的数据预处理过程具体包括：
S3-1、使用开源的眼底图像多模态配准方法对眼底结构图像和眼底荧光造影图像进行配准；
S3-2、手动剔除配准精度低于预先设定的阈值的图像对；
S3-3、对配准的区域进行图像块的提取操作，所述图像块的大小为512x512像素；
S3-4、针对带有黑边框的图像，通过掩模图像来将提取的图像块显示为原来的样式。
8.根据权利要求7所述的基于深度学习的眼底荧光造影图像生成方法，其特征在于，所述步骤S3-4中，所述掩模中包含一个圆形区域，该圆形区域的直径为图像块的长度，在该圆形区域内部的像素值均为1，处于在该圆形区域外部的像素值均为0。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-8中任意一项所述的方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述的方法。
CN202110286169.8A 2021-03-17 2021-03-17 基于深度学习的眼底荧光造影图像生成方法 Active CN112950737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286169.8A CN112950737B (zh) 2021-03-17 2021-03-17 基于深度学习的眼底荧光造影图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286169.8A CN112950737B (zh) 2021-03-17 2021-03-17 基于深度学习的眼底荧光造影图像生成方法

Publications (2)

Publication Number Publication Date
CN112950737A true CN112950737A (zh) 2021-06-11
CN112950737B CN112950737B (zh) 2024-02-02

Family

ID=76228789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286169.8A Active CN112950737B (zh) 2021-03-17 2021-03-17 基于深度学习的眼底荧光造影图像生成方法

Country Status (1)

Country Link
CN (1) CN112950737B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272267A (zh) * 2022-08-08 2022-11-01 中国科学院苏州生物医学工程技术研究所 基于深度学习的眼底荧光造影图像生成方法、设备、介质及产品
CN115690124A (zh) * 2022-11-02 2023-02-03 中国科学院苏州生物医学工程技术研究所 高精度单帧眼底荧光造影图像渗漏区域分割方法及系统
WO2023193404A1 (zh) * 2022-04-09 2023-10-12 中山大学中山眼科中心 一种基于条件生成对抗网络的眼底彩照毛细血管标注方法
WO2024027046A1 (zh) * 2022-08-02 2024-02-08 中山大学中山眼科中心 一种利用眼底彩照自动生成荧光造影图像的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249959A1 (en) * 2011-03-31 2012-10-04 The Hong Kong Polytechnic University Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN109447962A (zh) * 2018-10-22 2019-03-08 天津工业大学 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法
CN109523524A (zh) * 2018-11-07 2019-03-26 电子科技大学 一种基于集成学习的眼底图像硬性渗出检测方法
US20190110753A1 (en) * 2017-10-13 2019-04-18 Ai Technologies Inc. Deep learning-based diagnosis and referral of ophthalmic diseases and disorders
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110097545A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像生成方法
CN111242865A (zh) * 2020-01-10 2020-06-05 南京航空航天大学 基于生成式对抗网络的眼底图像增强方法
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
CN111563839A (zh) * 2020-05-13 2020-08-21 上海鹰瞳医疗科技有限公司 眼底图像转换方法及设备
CN112215285A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种基于跨媒体特征的眼底图像自动标注方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249959A1 (en) * 2011-03-31 2012-10-04 The Hong Kong Polytechnic University Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
US20190110753A1 (en) * 2017-10-13 2019-04-18 Ai Technologies Inc. Deep learning-based diagnosis and referral of ophthalmic diseases and disorders
CN109447962A (zh) * 2018-10-22 2019-03-08 天津工业大学 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法
CN109523524A (zh) * 2018-11-07 2019-03-26 电子科技大学 一种基于集成学习的眼底图像硬性渗出检测方法
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110097545A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像生成方法
CN111242865A (zh) * 2020-01-10 2020-06-05 南京航空航天大学 基于生成式对抗网络的眼底图像增强方法
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
CN111563839A (zh) * 2020-05-13 2020-08-21 上海鹰瞳医疗科技有限公司 眼底图像转换方法及设备
CN112215285A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种基于跨媒体特征的眼底图像自动标注方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193404A1 (zh) * 2022-04-09 2023-10-12 中山大学中山眼科中心 一种基于条件生成对抗网络的眼底彩照毛细血管标注方法
WO2024027046A1 (zh) * 2022-08-02 2024-02-08 中山大学中山眼科中心 一种利用眼底彩照自动生成荧光造影图像的方法
CN115272267A (zh) * 2022-08-08 2022-11-01 中国科学院苏州生物医学工程技术研究所 基于深度学习的眼底荧光造影图像生成方法、设备、介质及产品
CN115690124A (zh) * 2022-11-02 2023-02-03 中国科学院苏州生物医学工程技术研究所 高精度单帧眼底荧光造影图像渗漏区域分割方法及系统

Also Published As

Publication number Publication date
CN112950737B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
KR101977645B1 (ko) 안구영상 분석방법
CN112950737B (zh) 基于深度学习的眼底荧光造影图像生成方法
JP4303598B2 (ja) 画素の符号化法、画像処理法と、１以上の画素により再現されるオブジェクトの定性的な認識を目的とする画像処理法
US8805051B2 (en) Image processing and machine learning for diagnostic analysis of microcirculation
Abramoff et al. The automatic detection of the optic disc location in retinal images using optic disc location regression
CN111310851A (zh) 一种人工智能超声辅助系统及其应用
CN110120055B (zh) 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
WO2022105623A1 (zh) 一种基于迁移学习的颅内血管病灶识别方法
Rajee et al. Gender classification on digital dental x-ray images using deep convolutional neural network
CN113962311A (zh) 知识数据和人工智能驱动的眼科多病种识别系统
CN111785363A (zh) 一种基于ai引导的慢性病辅助诊断系统
US11830193B2 (en) Recognition method of intracranial vascular lesions based on transfer learning
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
Li et al. Generating fundus fluorescence angiography images from structure fundus images using generative adversarial networks
CN112562058B (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN114170151A (zh) 一种基于迁移学习的颅内血管病灶识别方法
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Jiang et al. GlanceSeg: Real-time microaneurysm lesion segmentation with gaze-map-guided foundation model for early detection of diabetic retinopathy
CN112508873A (zh) 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法
Liu et al. Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images
CN111613321A (zh) 一种基于密集卷积神经网络的心电图卒中辅助诊断方法
Zhou et al. Computer aided diagnosis for diabetic retinopathy based on fundus image
Wang et al. MEMO: dataset and methods for robust multimodal retinal image registration with large or small vessel density differences
CN114170337A (zh) 一种基于迁移学习的颅内血管增强三维模型的建立方法
Li et al. A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant