CN116543026A - 基于多尺度条件生成对抗网络荧光血管造影图像生成方法 - Google Patents
基于多尺度条件生成对抗网络荧光血管造影图像生成方法 Download PDFInfo
- Publication number
- CN116543026A CN116543026A CN202310531954.4A CN202310531954A CN116543026A CN 116543026 A CN116543026 A CN 116543026A CN 202310531954 A CN202310531954 A CN 202310531954A CN 116543026 A CN116543026 A CN 116543026A
- Authority
- CN
- China
- Prior art keywords
- image
- ultra
- wide
- angle
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002583 angiography Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 230000007717 exclusion Effects 0.000 claims description 4
- 210000001525 retina Anatomy 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 208000002177 Cataract Diseases 0.000 claims description 3
- 230000000740 bleeding effect Effects 0.000 claims description 3
- 210000000720 eyelash Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000649 photocoagulation Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 210000004127 vitreous body Anatomy 0.000 claims description 3
- 238000002601 radiography Methods 0.000 claims description 2
- 231100000216 vascular lesion Toxicity 0.000 abstract description 3
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 206010067484 Adverse reaction Diseases 0.000 description 2
- 230000006838 adverse reaction Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 208000001344 Macular Edema Diseases 0.000 description 1
- 206010025415 Macular oedema Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 206010067482 No adverse event Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000013534 fluorescein angiography Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000008141 laxative Substances 0.000 description 1
- 230000002475 laxative effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000010230 macular retinal edema Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法，包括如下步骤：S1、采集同一患者的超广角眼底彩照和与之相匹配的超广角荧光血管造影图像；对采集的配对图像进行纳入和排除，并作锐化、自动配准和随机裁剪操作；S2、搭建全监督条件生成对抗网络模型；S3、模型训练；S4、输入预处理后的超广角眼底彩照至完成训练的全监督条件生成对抗网络模型中，最终生成与真实图像分布极为相似的超广角荧光血管造影图像。该方法基于输入的超广角眼底彩照，自动生成高分辨率、高清晰度以及清晰显示微小血管病变区域的超广角荧光血管造影图像。
Description
技术领域
本发明涉及跨模态图像转换技术领域，具体指一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法。
背景技术
荧光血管造影是一种用于检测和诊断眼底疾病的常用成像方法。它被广泛应用于血管结构成像和动态观察造影剂在血管中的循环和渗漏。但是荧光素血管造影需要将荧光染料注射到患者的前静脉，然后通过血液循环到达眼底血管。部分患者在检查期间或检查后可能会出现呕吐、恶心等不良反应。此外，这种侵入性检查也不适合严重心血管及其他全身性疾病患者。
眼底彩色照相是视网膜检查最为常用的方法，其利用共焦激光扫描检眼镜，具有无创、方便、快捷、无不良反应、对病人全身情况要求低等优势，但很多动态的眼底结构性病变比如新生血管的出现、黄斑水肿的生成以及微血管的无灌注区不能够在眼底彩照上呈现，从而影响眼底疾病诊断和预测的准确性。
近年来，超广角技术的出现极大程度地提高了图像视野的宽度与深度，超广角荧光素血管造影图像和超广角眼底彩照也被逐渐运用到眼底影像领域。
发明内容
本发明针对现有技术的不足，提出一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法，该方法基于输入的超广角眼底彩照，自动生成高分辨率、高清晰度以及清晰显示微小血管病变区域的超广角荧光血管造影图像。
为了解决上述技术问题，本发明的技术方案为：
一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法，包括如下步骤：
S1、采集图像数据并预处理
S1-1、采集同一患者的超广角眼底彩照和与之相匹配的超广角荧光血管造影图像；
S1-2、对采集的配对图像进行纳入和排除，并作锐化、自动配准和随机裁剪操作；
S2、搭建全监督条件生成对抗网络模型，所述全监督条件生成对抗网络模型包括两个并行的生成对抗网络，分别为生成对抗网络一和生成对抗网络二，所述生成对抗网络一由精细生成器、精细判别器和注意力拼接模块融合而成，所述生成对抗网络二由粗糙生成器、粗糙判别器和注意力拼接模块融合而成。其中精细生成器主要用于捕捉图像的局部特征而粗糙生成器主要用于捕捉图像的局部特征，精细判断器用于对精细生成器生成的图像与真实图像进行判别而粗糙判别器用于对粗糙生成器生成的图像和真实图像进行判别。从直观上来说，精细生成器传入和处理的图片的像素量更多，运算量更大，粗糙生成器反之。
S3、模型训练
S3-1、将步骤S1中预处理后的图像的分辨率变为原来的1/3，从而得到已配对且分辨率较低的超广角眼底彩照和超广角荧光血管造影图像；
S3-2、将已配对且分辨率较低的超广角眼底彩照和超广角荧光血管造影图像输粗糙生成器和粗糙判别器中得到粗粒度图像；
S3-3、将步骤S1中随机裁剪后的图像输入精细生成器和精细判别器中得到真实值图像；
S3-4、以输入的超广角荧光血管造影图像为判别标准，对全监督条件生成对抗网络模型进行反复训练，优化网络参数，运用动态博弈的手段不断进行迭代优化直至两者达到平衡，以最小化真实值图像的以及粗粒度图像间的差异；
S4、输入预处理后的超广角眼底彩照至完成训练的全监督条件生成对抗网络模型中，最终生成与真实图像分布极为相似的超广角荧光血管造影图像。
作为优选，所述步骤S1-1的具体方法如下：
S1-1-1、超广角眼底彩照和超广角荧光造影图像拍摄间隔拍摄时间间隔>3月以及有明显新鲜出血；
S1-1-2、两项图像拍摄间隔行视网膜激光光凝术；
S1-1-3、晒出中度及以上白内障，玻璃体中度以上浑浊图像；
S1-1-4、筛除睫毛遮挡超过四分之一，镜头对焦不准的图像；
S1-1-5、根据历史经验筛除其他可能干扰试验结果的图像。
作为优选，所述步骤S1-2中，将自动配准后的图像统一调整为3432×3702。
作为优选，所述步骤S1-2中，将统一调整尺寸的图像随机裁剪成大小为608×768的不同小块。
作为优选，所述全监督条件生成对抗网络模型的损失函数定义如下：
其中
LcGAN＝E(c,x)[log(D(c,x))]+Ec[log(1-D(G(c),c)] (2)
公式(1)中的GC和GF分别表示粗糙生成器和精细生成器而DC1和DC2表示粗糙判别器，DF表示精细判别器，λFMC,λVGGC,λFMF,λVGGF均表示可调节的权重参数，公式(2)中的变量对(c,x)的c表示作为条件的原始图像分布，而x表示真实的超广角荧光造影血管图像的分布，公式(3)中的D(i)表示提取特征的第i层网络，T为网络的总层数，Ni表示每一层的元素个数，公式(4)中的N为网络总层数，Mi为每一层的元素个数，Vi为VGG19网络架构的第i层。
本发明具有以下的特点和有益效果：
采用上述技术方案，本发明真正实现了根据超广角眼底彩照自动生成超广角荧光血管造影图像的医学需求，具体包括：能够对超广角眼底图像进行跨模态的转换与生成；生成的超广角荧光血管造影图像与真实图像分布具有极大的相似性，以至于部分临床医生无法分辨真假，说明模型具有较好的图像生成效果；生成的超广角荧光血管造影图像能够清晰地显示微血管病变以及部分病灶区域，如视视网膜内新生血管区和微血管无灌注区等；由超广角眼底彩照生成的超广角荧光血管造影图像可减少荧光造影的不良反应、有创操作和可以看出无灌注区和新生血管区，从而指导激光、打药等治疗，有效地为眼底疾病的诊断、治疗提供辅助与干预。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为本发明实施例全监督的多尺度条件生成对抗网络模型的整体架构；
图3(a)、(b)、(c)分别为正常视网膜下的超广角眼底彩照，真实的超广角荧光血管造影图像与模型生成的荧光血管造影图像对比示意图；
图4(a)、(b)、(c)分别为含微血管无灌注区的超广角眼底彩照，真实的超广角荧光血管造影图像与模型生成的荧光血管造影图像对比示意图；
图5(a)、(b)、(c)分别为含棉绒斑的超广角眼底彩照，真实的超广角荧光血管造影图像与模型生成的荧光血管造影图像对比示意图；
图6(a)、(b)、(c)分别为含激光斑的超广角眼底彩照，真实的超广角荧光血管造影图像与模型生成的荧光血管造影图像对比示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
本发明提供了一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法，如图1所示，具体操作如下：
步骤1：采集同一患者的超广角眼底彩照和与之相匹配的超广角荧光血管造影图像，大小均为3900×3072。根据超广角眼底图像排除标准(如下)：
(1)超广角眼底彩照和超广角荧光造影图像拍摄间隔拍摄时间间隔>3月或有明显新鲜出血等；
(2)两项图像拍摄间隔行视网膜激光光凝术等；
(3)图像质量的干扰因素较多，如合并中度及以上白内障，玻璃体中度以上浑浊，影响临床诊断。
(4)睫毛遮挡超过四分之一，镜头对焦不准等影响临床诊断的图像。
(5)据研究者判断其他可能干扰试验结果的图像。
对采集的配对图像进行纳入和排除，并作锐化、自动配准和随机裁剪等预处理操作。利用锐化中常见的局部自适应直方图均衡化操作增强图像的边缘以及灰度跳变部分，并用自动配准软件配对图像使其在空间位置上保持一致，同时将配准后的图像统一调整为3432×3702，并随机裁剪成大小为608×768的不同小块。
步骤2：如图2所示，搭建一个融合多尺度判别器、生成器和注意力拼接模块的全监督条件生成对抗网络模型。
具体的，全监督条件生成对抗网络模型包括两个并行的生成对抗网络，分别为生成对抗网络一和生成对抗网络二，生成对抗网络一由精细生成器、精细判别器和注意力拼接模块融合而成，生成对抗网络二由粗糙生成器、粗糙判别器和注意力拼接模块融合而成。其中精细生成器主要用于捕捉图像的局部特征而粗糙生成器主要用于捕捉图像的局部特征，精细判断器用于对精细生成器生成的图像与真实图像进行判别而粗糙判别器用于对粗糙生成器生成的图像和真实图像进行判别。从直观上来说，精细生成器传入和处理的图片的像素量更多，运算量更大，粗糙生成器反之。
步骤3：在模型训练阶段，为了得到粗粒度图像，将图像的分辨率变为了原来的1/3，因此模型中粗糙生成器和粗糙判别器的输入是经过筛选并已配对且分辨率较低的超广角眼底彩照和超广角荧光血管造影图像，但是，而精细生成器和精细判别器的输入是在步骤1中被随机裁剪成大小为608×768的不同小块。以输入的超广角荧光血管造影图像为判别标准，定义如下的模型损失函数：
其中
LcGAN＝E(c,x)[log(D(c,x))]+Ec[log(1-D(G(c),c)] (2)
公式(1)中的GC和GF分别表示粗糙生成器和精细生成器而DC1和DC2表示粗糙判别器，DF表示精细判别器，λFMC,λVGGC,λFMF,λVGGF均表示可调节的权重参数，公式(2)中的变量对(c,x)的c表示作为条件的原始图像分布，而x表示真实的超广角荧光造影血管图像的分布，公式(3)中的D(i)表示提取特征的第i层网络，T为网络的总层数，Ni表示每一层的元素个数，公式(4)中的N为网络总层数，Mi为每一层的元素个数，Vi为VGG19网络架构的第i层。给定条件分布c，我们的目标是最大化DC1和DC2以及DF的损失，同时最小化GC和GF的损失。通过对模型的反复训练，优化网络参数，在提升生成器图像生成能力的同时也增强判别器的甄别能力，运用动态博弈的手段不断进行迭代优化直至两者达到平衡，以最小化真实的以及模型生成的超广角荧光血管造影图像间的差异。
步骤4：在模型推理阶段，输入超广角眼底彩照，经过图像锐化与随机裁剪等预处理方式，通过已完成训练的全监督条件生成对抗网络模型，最终生成与真实图像分布极为相似的超广角荧光血管造影图像，实现跨模态图像转换与生成的目标。其中说明书附图中的图3至图6分别展示了包含不同眼底疾病的超广角眼底彩照，真实的超广角荧光血管造影图像与模型生成的荧光血管造影图像对比示意图，我们可以看到由模型生成的超广角荧光血管造影图像与真实的图像相似度极高，以至于无法判断图片是由模型生成的还是真实拍摄的，同时由模型生成的超广角荧光血管造影图像清晰且准确地合成了相关病灶区域，还捕捉到了微小的血管病变，由此说明了本发明能够有效地为眼底疾病的诊断、治疗提供辅助与干预。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (5)
1.一种基于多尺度条件生成对抗网络荧光血管造影图像生成方法，其特征在于，包括如下步骤：
S1、采集图像数据并预处理
S1-1、采集同一患者的超广角眼底彩照和与之相匹配的超广角荧光血管造影图像；
S1-2、对采集的配对图像进行纳入和排除，并作锐化、自动配准和随机裁剪操作；
S2、搭建全监督条件生成对抗网络模型，所述全监督条件生成对抗网络模型包括两个并行的生成对抗网络，分别为生成对抗网络一和生成对抗网络二，所述生成对抗网络一由精细生成器、精细判别器和注意力拼接模块融合而成，所述生成对抗网络二由粗糙生成器、粗糙判别器和注意力拼接模块融合而成，其中精细生成器主要用于捕捉图像的局部特征，所述粗糙生成器主要用于捕捉图像的局部特征；所述精细判断器用于对精细生成器生成的图像与真实图像进行判别，所述粗糙判别器用于对粗糙生成器生成的图像和真实图像进行判别；
S3、模型训练
S3-1、将步骤S1中预处理后的图像的分辨率变为原来的1/3，从而得到已配对且分辨率较低的超广角眼底彩照和超广角荧光血管造影图像；
S3-2、将已配对且分辨率较低的超广角眼底彩照和超广角荧光血管造影图像输粗糙生成器和粗糙判别器中得到粗粒度图像；
S3-3、将步骤S1中随机裁剪后的图像输入精细生成器和精细判别器中得到真实值图像；
S3-4、以输入的超广角荧光血管造影图像为判别标准，对全监督条件生成对抗网络模型进行反复训练，优化网络参数，运用动态博弈的手段不断进行迭代优化直至两者达到平衡，以最小化真实值图像的以及粗粒度图像间的差异；
S4、输入预处理后的超广角眼底彩照至完成训练的全监督条件生成对抗网络模型中，最终生成与真实图像分布极为相似的超广角荧光血管造影图像。
2.根据权利要求1所述的基于多尺度条件生成对抗网络荧光血管造影图像生成方法，其特征在于，所述步骤S1-1的具体方法如下：
S1-1-1、超广角眼底彩照和超广角荧光造影图像拍摄间隔拍摄时间间隔>3月以及有明显新鲜出血；
S1-1-2、两项图像拍摄间隔行视网膜激光光凝术；
S1-1-3、晒出中度及以上白内障，玻璃体中度以上浑浊图像；
S1-1-4、筛除睫毛遮挡超过四分之一，镜头对焦不准的图像；
S1-1-5、根据历史经验筛除其他可能干扰试验结果的图像。
3.根据权利要求1所述的基于多尺度条件生成对抗网络荧光血管造影图像生成方法，其特征在于，所述步骤S1-2中，将自动配准后的图像统一调整为3432×3702。
4.根据权利要求3所述的基于多尺度条件生成对抗网络荧光血管造影图像生成方法，其特征在于，所述步骤S1-2中，将统一调整尺寸的图像随机裁剪成大小为608×768的不同小块。
5.根据权利要求1-4任意一项所述的基于多尺度条件生成对抗网络荧光血管造影图像生成方法，其特征在于，所述全监督条件生成对抗网络模型的损失函数定义如下：
其中
LcGAN＝E(c,x)[log(D(c,x))]+Ec[log(1-D(G(c),c)] (2)
公式(1)中的GC和GF分别表示粗糙生成器和精细生成器而DC1和DC2表示粗糙判别器，DF表示精细判别器，λFMC,λVGGC,λFMF,λVGGF均表示可调节的权重参数，公式(2)中的变量对(c,x)的c表示作为条件的原始图像分布，而x表示真实的超广角荧光造影血管图像的分布，公式(3)中的D(i)表示提取特征的第i层网络，T为网络的总层数，Ni表示每一层的元素个数，公式(4)中的N为网络总层数，Mi为每一层的元素个数，Vi为VGG19网络架构的第i层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310531954.4A CN116543026A (zh) | 2023-05-12 | 2023-05-12 | 基于多尺度条件生成对抗网络荧光血管造影图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310531954.4A CN116543026A (zh) | 2023-05-12 | 2023-05-12 | 基于多尺度条件生成对抗网络荧光血管造影图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543026A true CN116543026A (zh) | 2023-08-04 |
Family
ID=87450197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310531954.4A Pending CN116543026A (zh) | 2023-05-12 | 2023-05-12 | 基于多尺度条件生成对抗网络荧光血管造影图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543026A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649347A (zh) * | 2024-01-30 | 2024-03-05 | 宁乡爱尔眼科医院有限公司 | 基于超广角眼底成像的远程眼检方法及系统 |
-
2023
- 2023-05-12 CN CN202310531954.4A patent/CN116543026A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649347A (zh) * | 2024-01-30 | 2024-03-05 | 宁乡爱尔眼科医院有限公司 | 基于超广角眼底成像的远程眼检方法及系统 |
| CN117649347B (zh) * | 2024-01-30 | 2024-04-19 | 宁乡爱尔眼科医院有限公司 | 基于超广角眼底成像的远程眼检方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104173023B (zh) | 信息处理设备和信息处理方法 | |
| CN104203081B (zh) | 将复数的眼睛影像结合成为多聚焦全光影像的方法 | |
| KR20190022216A (ko) | 안구영상 분석방법 | |
| KR20220051369A (ko) | 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템 및 프로그램 | |
| EP3659494B1 (en) | Ophthalmic system and ophthalmic information processing device | |
| JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2021039748A (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
| JP7478216B2 (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
| US10165939B2 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
| WO2010135820A1 (en) | Method and system for retinal health management | |
| RU2637851C2 (ru) | Устройство обработки изображений и способ управления устройством обработки изображений | |
| CN116543026A (zh) | 基于多尺度条件生成对抗网络荧光血管造影图像生成方法 | |
| US20230320584A1 (en) | Image processing method, image processing program, image processing device, image display device, and image display method | |
| JP7348374B2 (ja) | 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム | |
| WO2021256130A1 (ja) | スリットランプ顕微鏡 | |
| JP7194136B2 (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
| JP2022011912A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| EP4233689A1 (en) | Ophthalmological observation device, ophthalmological image processing device, ophthalmological image processing method, program, and recording medium | |
| JP2021079013A (ja) | 医用画像処理装置、医用画像処理装置の処理方法およびプログラム | |
| TWI839124B (zh) | 光學斷層掃描自測系統、光學斷層掃描方法及眼部病變監控系統 | |
| JP6732093B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
| Hakeem et al. | Inception V3 and CNN Approach to Classify Diabetic Retinopathy Disease | |
| WO2023037658A1 (ja) | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 | |
| WO2023149139A1 (ja) | 視野検査装置、および視野検査プログラム | |
| JP6636188B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |