CN111242850A - 一种广域眼底光学相干血流成像分辨率提升方法 - Google Patents
一种广域眼底光学相干血流成像分辨率提升方法 Download PDFInfo
- Publication number
- CN111242850A CN111242850A CN202010150103.1A CN202010150103A CN111242850A CN 111242850 A CN111242850 A CN 111242850A CN 202010150103 A CN202010150103 A CN 202010150103A CN 111242850 A CN111242850 A CN 111242850A
- Authority
- CN
- China
- Prior art keywords
- octa
- image
- wide
- area
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 230000017531 blood circulation Effects 0.000 title claims abstract description 23
- 230000003287 optical effect Effects 0.000 title claims abstract description 20
- 210000001525 retina Anatomy 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000012014 optical coherence tomography Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 17
- 125000004122 cyclic group Chemical group 0.000 claims description 16
- 230000002207 retinal effect Effects 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 230000002792 vascular Effects 0.000 claims description 6
- 239000000090 biomarker Substances 0.000 claims description 5
- 238000002583 angiography Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 230000001427 coherent effect Effects 0.000 abstract description 5
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 abstract 13
- 238000005070 sampling Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000013534 fluorescein angiography Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006471 dimerization reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004233 retinal vasculature Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Eye Examination Apparatus (AREA)
Abstract
一种广域眼底光学相干血流成像分辨率提升方法，属于生物医学成像和图像处理技术领域。方法包括：步骤S01，采集广域低清OCTA模式和非广域高清OCTA模式的视网膜OCTA图像；步骤S02，将两种模式的视网膜OCTA图像裁剪并缩放为相同规格的子图；步骤S03，将两种模式的OCTA子图分别作为源域的数据集A和目标域的数据集B；并将数据集A、B均划分为训练集和测试集；步骤S04，将视网膜OCTA子图放入深度神经网络进行训练；步骤S05，输入广域低清OCTA模式的视网膜OCTA子图，训练后的神经网络模型输出广域高清OCTA模式的视网膜OCTA子图；步骤S06，拼接属于同一张广域图像的子图得到广域高清视网膜OCTA图像。本发明采用非成对学习和裁剪子图的方法解决了广域OCTA缺乏成对高清OCTA数据的问题。
Description
技术领域
本发明属于生物医学成像和图像处理技术领域，尤其涉及一种广域眼底光学相干血流成像分辨率提升方法。
背景技术
光学相干断层扫描血管造影（Optical Coherence Tomography Angiography，OCTA）是一种低损、高分辨、非侵入性的新型成像方式，在同一位置使用重复B扫描的时间去相关来区分周围组织和血流。该方法有潜力取代传统的荧光素血管造影（FA）和吲哚菁绿色血管造影（ICGA），因此在眼科领域引起了极大的关注。与FA和ICGA等2D成像中脉管系统的重叠深度信息相比，OCTA能够以5~10μm的高轴向分辨率在深度方向上解析血管和毛细血管。它已被广泛用于各种眼部疾病的研究，例如青光眼、年龄相关性黄斑病变和早产儿视网膜病变。另外，人视网膜的OCTA成像还能够指示神经退行性疾病，例如轻度认知障碍和阿尔茨海默氏病。
然而，与强调视网膜层结构信息的光学相干断层扫描技术（Optical CoherenceTomography ，OCT）不同，OCTA的重要功能是可视化视网膜和脉络膜毛细血管，因此，OCTA对采集系统的横向分辨率和采样密度有更高的要求。由于一些疾病需要周边的血流成像比如病变主要位于周边的早期糖尿病视网膜病变，小视场的OCTA已经不能满足此要求，需要扩大OCTA对视网膜扫描的成像范围。然而，广域OCTA会牺牲图像的横向分辨率，导致在定量分析中低估血管的生物标记物。保证分辨率的前提下扩大视网膜OCTA成像范围的技术将是增强OCT技术在临床实践中应用中重要的下一步。
在从单个图像中得到视网膜血管系统的广域和高分辨率图像的OCTA问题上，华盛顿大学提出了一种多帧拼接的方法。通过辅助实时线扫描检眼镜的运动跟踪生成的OCTA，可实现在临床上为患者的功能性视网膜脉管成像，在覆盖视网膜60度以上的同时仍保持高分辨率和高分辨率。但是此项技术十分耗时耗力，且需要病患多次采集，对病患的配合度要求很高。
发明专利申请CN201910584151.9公开了基于SD-OCT和OCTA视网膜图像的CNV自动检测方法,并具体公开了方法包括步骤1、采集含有CNV病变的SD-OCT视网膜图像、OCTA视网膜图像；步骤2、利用层分割算法分割SD-OCT视网膜图像的ILM、OPL和BM层；步骤3、将三维SD-OCT体数据投影生成CNV显著图；步骤4、将三维OCTA体数据投影生成视网膜内、外层投影图；步骤5、基于视网膜内、外层投影图，去除血流投射伪影获得伪影去除图像；步骤6、通过自适应阈值法将CNV显著图和伪影去除图像二值化；步骤7、对步骤6获得的两个二值图像进行数学形态学处理，获得目标候选区域；步骤8、将步骤7获得的所有目标候选区域合并；步骤9、根据包含种子点数量去除虚假目标候选区域，获得粗略CNV区域；步骤10、对视网膜外层投影图中粗略CNV区域边界内部的像素进行二聚类处理，获得二值图像；步骤11、对步骤10的二值图像进行数学形态学处理获得细化的CNV边界。该方法仅适用于CNV病变的检测。
发明内容
本发明针对现有技术存在的问题，提出了一种广域眼底光学相干血流成像分辨率提升方法，能同时满足高分辨率和广域的要求，且普适于各类OCTA数据。
本发明是通过以下技术方案得以实现的：
本发明一种广域眼底光学相干血流成像分辨率提升方法，包括：
步骤S01，采集两种模式的视网膜OCTA图像，所述两种模式包括广域低清OCTA模式和非广域高清OCTA模式；
步骤S02，将两种模式的视网膜OCTA图像裁剪为成像区域大小一致的子图，并将两种模式的子图统一缩放到大小相同的规格；
步骤S03，将属于广域低清OCTA模式的OCTA子图作为源域，记作数据集A，将属于非广域高清OCTA模式的OCTA子图作为目标域，记作数据集B；并将数据集A和数据集B中的部分数据划分为训练集，数据集A和数据集B中的其余部分数据划分为测试集；
步骤S04，将步骤S03获得的相同规格的两种模式的视网膜OCTA子图放入深度神经网络进行训练；
步骤S05，将广域低清OCTA模式的视网膜OCTA子图输入步骤S04训练后的神经网络模型，训练后的神经网络模型输出对广域低清OCTA模式的视网膜OCTA子图进行分辨率增强的测试结果；
步骤S06，拼接属于同一张广域图像的重建高清OCTA子图，继而得到广域高清视网膜OCTA图像。
该方法是一种端到端的广域低采样OCTA高分辨率重建方法的设计。由于横向采样率低，广域OCTA的横向分辨率差，因此导致血管生物标记物的观察和定量不准确，高采样率和低采样率之间的分辨率差异可以通过模型或数据驱动的方法进行修复。
作为优选，所述步骤S01中的视网膜OCTA图像为表层视网膜血管造影图像。
作为优选，所述步骤S01具体包括：采集广域低清OCTA模式和非广域高清OCTA模式的视网膜OCTA图像，并利用去条纹方法去除采集广域OCTA过程中眼球微动产生的横条纹。
作为优选，所述步骤S01中采集的广域低清OCTA模式的视网膜OCTA图像的扫描区域大小，大于所述步骤S01中采集的非广域高清OCTA模式的视网膜OCTA图像的扫描区域大小。
作为优选，所述步骤S02包括：将两种模式的视网膜OCTA图像裁剪成1x1mm2的子图，统一缩放到340*340个像素点。
作为优选，所述步骤S04包括：
步骤S41，将数据集A的输入图像Input A输入生成器GAB,经过生成器网络后，得到输出图像Output B；
步骤S42，将输出图像Output B输入判别器DB，由判别器DB判定输出图像Output B属于数据集B，则输出1，否则为0；
步骤S43，将输出图像Output B输入生成器GBA，经过生成器网络后，得到输出循环图像Rec A；
步骤S44，将数据集B的输入图像Input B输入生成器GBA，经过生成器网络后，得到输出图像Output A；
步骤S45，将输出图像Output A输入判别器DA，由判别器判定DA输出图像Output A属于数据集B，则输出0，否则为1；
步骤S46，将输出图像Output A输入生成器GAB，经过生成器网络后，得到输出循环图像Rec B；
步骤S47，基于损失函数公式
计算整个训练模型的整体损失函数，继而验证输入图像和来自生成器的合成图像是否处于相同分布，以验证神经网络模型是否训练完毕；
其中，生成器GAB用于将源域A中的图像x转换为类似于目标域B中图像的生成图像G(x)；生成器GBA用于将目标域B中的图像y转换为类似于源域A中图像的生成图像G(y)；β控制损失的比例，L_GAN为判别器将生成图像判别为真实图片的损失，表示对抗性损失；L_cyc为原图像经过生成循环后得到的图像的差异损失，表示周期一致性损失。
作为优选，所述步骤S47具体包括：
依据公式
计算输出图像Output B与输入图像Input B之间、输出图像Output A与输入图像InputA之间的对抗损失函数；
依据公式
计算输出循环图像Rec A与输入图像Input A之间、输出循环图像Rec B与输入图像Input B之间的周期一致性损失函数；
依据公式
计算整个训练模型的整体损失函数；
验证输出图像Output B与输入图像Input B间、输出图像Output A与输入图像Input A间、输出循环Rec A与输入图像Input A间、输出循环Rec B与输入图像Input B间是否处于相同分布，若是，则神经网络模型训练完成。
作为优选，所述步骤S04中的深度神经网络采用循环一致对抗性网络框架。
作为优选，所述步骤S06包括拼接属于同一张广域图像的重建高清1x1mm2OCTA子图，继而得到广域高清视网膜8x8mm2OCTA图像。
作为优选，所述方法获得的广域高清图像用于定量血管生物标志物。
本发明具有以下有益效果：
本发明一种广域眼底光学相干血流成像分辨率提升方法：
1、本发明采用非成对学习和裁剪子图的方法解决了广域OCTA缺乏成对高清OCTA数据的问题。
2、本发明采用裁剪子图的方法解决了采集OCTA图像数据集小的问题。
3、本发明方法中的模型一经训练，可多次重复使用，免去了在应用时繁琐的图像处理步骤。
附图说明
图1为本发明一种广域眼底光学相干血流成像分辨率提升方法的流程图；
图2为本发明一种广域眼底光学相干血流成像分辨率提升方法的具体示例的流程图；
图3为依据本发明一种广域眼底光学相干血流成像分辨率提升方法重建广域高分辨率OCTA图像的工作流程；
图4为本发明所使用的循环一致对抗性网络系统框图；
图5a为采用本发明方法示例中原始视网膜OCTA图像；
图5b为采用本发明方法示例中经过深度学习重建的高分辨率OCTA图像；
图5c(包括对应图5a中的方框C以及5b中相同位置的两幅对照图)、5d包括对应图5a中的方框D以及5b中相同位置的两幅对照图、5e（包括对应图5a中的方框E以及5b中相同位置的两幅对照图）、5f（包括对应图5a中的方框F以及5b中相同位置的两幅对照图）是图5a中方框部分的放大视图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1，本发明一种广域眼底光学相干血流成像分辨率提升方法，包括：
步骤S01，采集两种模式的视网膜OCTA图像，所述两种模式包括广域低清OCTA模式和非广域高清OCTA模式；
步骤S02，将两种模式的视网膜OCTA图像裁剪为成像区域大小一致的子图，并将两种模式的子图统一缩放到大小相同的规格；
步骤S03，将属于广域低清OCTA模式的OCTA子图作为源域，记作数据集A，将属于非广域高清OCTA模式的OCTA子图作为目标域，记作数据集B；并将数据集A和数据集B中的部分数据划分为训练集，数据集A和数据集B中的其余部分数据划分为测试集；
步骤S04，将步骤S03获得的相同规格的两种模式的视网膜OCTA子图放入深度神经网络进行训练；
步骤S05，将广域低清OCTA模式的视网膜OCTA子图输入步骤S04训练后的神经网络模型，训练后的神经网络模型输出对广域低清OCTA模式的视网膜OCTA子图进行分辨率增强的测试结果；
步骤S06，拼接属于同一张广域图像的重建高清OCTA子图，继而得到广域高清视网膜OCTA图像。
在步骤S01中，步骤S01包括采集广域低清OCTA模式（即广域低横向分辨率，低采样）和非广域高清OCTA模式（即非广域高横向分辨率，高采样）的视网膜OCTA 图像，并利用去条纹方法去除采集广域OCTA过程中眼球微动产生的横条纹。所述步骤S01中采集的广域低清OCTA模式的视网膜OCTA图像的扫描区域大小，大于所述步骤S01中采集的非广域高清OCTA模式的视网膜OCTA图像的扫描区域大小。
例如，采集20组分别为两种模式的表层视网膜（SVP）血管造影图像。其中广域低清OCTA模式扫描区域大小为8x8mm2，非广域高清OCTA扫描区域大小为3x3mm2，可利用传统去条纹方法去除因采集广域OCTA过程中眼球微动产生的横条纹（参见图2、3）。
在步骤S02中，成像区域大小以及缩放大小根据需要设定。例如，所述步骤S02包括：将两种模式的视网膜OCTA图像裁剪成1x1mm2的子图（参见图2、3），统一缩放到340*340个像素点。
在步骤S03中，对裁剪的子图分类：属于广域低清OCTA的子图作为源域，记作数据集A，属于非广域高清OCTA的子图作为目标域，记作数据集B。对训练集和测试集的划分，可以将数据集A和数据集B图像中的一部分数据（约占90%）划分为训练集，其余部分数据划分为测试集。
在步骤S04中，两种模式的OCTA分别作为源域A和目标域B放入深度神经网络进行无监督训练，生成高清的OCTA子图。
步骤S04使用非成对的生成对抗网络（GAN, Generative Adversarial Networks ），包含生成器和判别器。我们的深度神经网络采用的是循环一致对抗性网络框架。它的目的是学习一种映射GAB，使用对抗损失，在像素级别和特征级别上，都无法将属于3x3mm2模式中的子图与属于8x8mm2模式中的子图进行区分。然后，我们将其与逆映射GBA耦合，并引入周期一致性损失，以强制生成图像尽可能类似于重建图像（反之亦然）。这样的生成方式不能确保我们的输入图像和输出图像以有意义的方式配对，因此引入了两个鉴别器网络DA和DB以确保输入图像和来自生成器的合成图像处于相同的分布。
将缩放后的参考图像数据集A和数据集B送入循环一致对抗性深度神经网络中进行无监督训练，对低质量的广域OCTA图像进行复原。图4为循环一致对抗性网络系统框图，它的生成器由9个残差模块组成，通过对输入图像的解码和编码转换输入图像的特征得到一张在目标域B中的图像，判别器判别通过卷积网络提取的图像特征是否属于目标域B的类别，由于该模型可以实现A到B，也可以实现B到A，设置了两个生成器（GAB和GBA）和两个判别器(DA和DB)。训练集数据在该模型中的运行过程如下：
所述步骤S04包括：
步骤S41，将数据集A (广域低清OCTA子图)的输入图像Input A输入生成器GAB,经过生成器网络后，得到输出图像Output B；
步骤S42，将输出图像Output B (非广域高清OCTA子图)输入判别器DB，由判别器DB判定输出图像Output B属于数据集B，则输出1，否则为0；
步骤S43，将输出图像Output B输入生成器GBA，经过生成器网络后，得到输出循环图像Rec A；
步骤S44，将数据集B的输入图像Input B输入生成器GBA，经过生成器网络后，得到输出图像Output A；
步骤S45，将输出图像Output A输入判别器DA，由判别器判定DA输出图像Output A属于数据集B，则输出0，否则为1；
步骤S46，将输出图像Output A输入生成器GAB，经过生成器网络后，得到输出循环图像Rec B；
步骤S47，基于损失函数公式
计算整个训练模型的整体损失函数，继而验证输入图像和来自生成器的合成图像是否处于相同分布，以验证神经网络模型是否训练完毕；
其中，生成器GAB用于将源域A中的图像x转换为类似于目标域B中图像的生成图像G(x)，所生成的图像必须保留有原始图像的特性，所以如果我们使用生成器GAB生成一张假图像，那么要能够使用另一个生成器GBA来努力恢复成原始图像；生成器GBA用于将目标域B中的图像y转换为类似于源域A中图像的生成图像G(y)；判别器DA用于判断它的输入图像是初始域A中的图像还是生成图像G(y)，判别器DB用于判断它的输入图像是目标域B中的图像还是生成图像G(x)；此过程必须满足循环一致性；β控制损失的比例，L_GAN为判别器将生成图像判别为真实图片的损失，表示对抗性损失；L_cyc为原图像经过生成循环后得到的图像的差异损失，保证原始图像和循环图像之间的差异应该尽可能小,表示周期一致性损失。
所述步骤S47具体包括：
依据公式
计算输出图像Output B与输入图像Input B之间、输出图像Output A与输入图像InputA之间的对抗损失函数；
依据公式
计算输出循环图像Rec A与输入图像Input A之间、输出循环图像Rec B与输入图像Input B之间的周期一致性损失函数；
依据公式
计算整个训练模型的整体损失函数；
验证输出图像Output B与输入图像Input B间、输出图像Output A与输入图像Input A间、输出循环Rec A与输入图像Input A间、输出循环Rec B与输入图像Input B间是否处于相同分布，若是，则神经网络模型训练完成。
该模型是基于Ubuntu 16.04 LTS操作系统中的深度学习框架PyTorch实施，模型的训练使用具有12 GB RAM的NVIDIA GeForce GTX 1080 Ti GPU进行。使用Adam优化器从头开始训练生成器和鉴别器，其初始学习率为2*10-4，batch size大小为1。对于这两个函数，我们分别设置β1 = 0.5和β2 = 0.999 两个Adam优化器。 在GAN模型的训练中，损失曲线显示在180个时期后收敛，因此我们在200个时期停下来以实现最小的损失，每次训练网络花费了大约4个小时。
在所述步骤S05中，神经网络模型训练完毕后，将低质量的广域OCTA子图输入训练后的神经网络模型，训练后的神经网络模型将输出对低质量OCTA进行分辨率增强的测试结果。
在所述步骤S06中，拼接重建结果。例如，拼接属于同一张广域图像的高清1x1mm2OCTA子图得到高分辨率的视网膜8x8mm2 OCTA，该结果即为分辨率增强后的最终图像。
依据上述方法进行的测试结果如图5a-5f，图5a-5f是广域OCTA图像分辨率增强的结果。图5a是原始视网膜OCTA图像；图5b是经过深度学习重建的高分辨率OCTA图像；图5c-5f是图5a中方框内的放大视图。在整个视野中，可以观察到分辨率的显着提高，本发明提出的方法可以有效地解决分辨率和视场之间的约束，将有助于在广域OCTA上准确定量血管生物标志物，从而有助于诊断和治疗。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (10)
1.一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，包括：
步骤S01，采集两种模式的视网膜OCTA图像，所述两种模式包括广域低清OCTA模式和非广域高清OCTA模式；
步骤S02，将两种模式的视网膜OCTA图像裁剪为成像区域大小一致的子图，并将两种模式的子图统一缩放到大小相同的规格；
步骤S03，将属于广域低清OCTA模式的OCTA子图作为源域，记作数据集A，将属于非广域高清OCTA模式的OCTA子图作为目标域，记作数据集B；并将数据集A和数据集B中的部分数据划分为训练集，数据集A和数据集B中的其余部分数据划分为测试集；
步骤S04，将步骤S03获得的相同规格的两种模式的视网膜OCTA子图放入深度神经网络进行训练；
步骤S05，将广域低清OCTA模式的视网膜OCTA子图输入步骤S04训练后的神经网络模型，训练后的神经网络模型输出对广域低清OCTA模式的视网膜OCTA子图进行分辨率增强的测试结果；
步骤S06，拼接属于同一张广域图像的重建高清OCTA子图，继而得到广域高清视网膜OCTA图像。
2.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S01中的视网膜OCTA图像为表层视网膜血管造影图像。
3.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S01具体包括：采集广域低清OCTA模式和非广域高清OCTA模式的视网膜OCTA图像，并利用去条纹方法去除采集广域OCTA过程中眼球微动产生的横条纹。
4.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S01中采集的广域低清OCTA模式的视网膜OCTA图像的扫描区域大小，大于所述步骤S01中采集的非广域高清OCTA模式的视网膜OCTA图像的扫描区域大小。
5.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于， 所述步骤S02包括：将两种模式的视网膜OCTA图像裁剪成1x1mm2的子图，统一缩放到340*340个像素点。
6.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S04包括：
步骤S41，将数据集A的输入图像Input A输入生成器GAB,经过生成器网络后，得到输出图像Output B；
步骤S42，将输出图像Output B输入判别器DB，由判别器DB判定输出图像Output B属于数据集B，则输出1，否则为0；
步骤S43，将输出图像Output B输入生成器GBA，经过生成器网络后，得到输出循环图像Rec A；
步骤S44，将数据集B的输入图像Input B输入生成器GBA，经过生成器网络后，得到输出图像Output A；
步骤S45，将输出图像Output A输入判别器DA，由判别器判定DA输出图像Output A属于数据集B，则输出0，否则为1；
步骤S46，将输出图像Output A输入生成器GAB，经过生成器网络后，得到输出循环图像Rec B；
步骤S47，基于损失函数公式
计算整个训练模型的整体损失函数，继而验证输入图像和来自生成器的合成图像是否处于相同分布，以验证神经网络模型是否训练完毕；
其中，生成器GAB用于将源域A中的图像x转换为类似于目标域B中图像的生成图像G(x)；生成器GBA用于将目标域B中的图像y转换为类似于源域A中图像的生成图像G(y)；β控制损失的比例，L_GAN为判别器将生成图像判别为真实图片的损失，表示对抗性损失；L_cyc为原图像经过生成循环后得到的图像的差异损失，表示周期一致性损失。
7.根据权利要求6所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S47具体包括：
依据公式
计算输出图像Output B与输入图像Input B之间、输出图像Output A与输入图像InputA之间的对抗损失函数；
依据公式
计算输出循环图像Rec A与输入图像Input A之间、输出循环图像Rec B与输入图像Input B之间的周期一致性损失函数；
依据公式
计算整个训练模型的整体损失函数；
验证输出图像Output B与输入图像Input B间、输出图像Output A与输入图像Input A间、输出循环Rec A与输入图像Input A间、输出循环Rec B与输入图像Input B间是否处于相同分布，若是，则神经网络模型训练完成。
8.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S04中的深度神经网络采用循环一致对抗性网络框架。
9.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述步骤S06包括拼接属于同一张广域图像的重建高清1x1mm2OCTA子图，继而得到广域高清视网膜8x8mm2OCTA图像。
10.根据权利要求1所述的一种广域眼底光学相干血流成像分辨率提升方法，其特征在于，所述方法获得的广域高清图像用于定量血管生物标志物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150103.1A CN111242850B (zh) | 2020-03-06 | 2020-03-06 | 一种广域眼底光学相干血流成像分辨率提升方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150103.1A CN111242850B (zh) | 2020-03-06 | 2020-03-06 | 一种广域眼底光学相干血流成像分辨率提升方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111242850A true CN111242850A (zh) | 2020-06-05 |
| CN111242850B CN111242850B (zh) | 2023-09-15 |
Family
ID=70880215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010150103.1A Active CN111242850B (zh) | 2020-03-06 | 2020-03-06 | 一种广域眼底光学相干血流成像分辨率提升方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242850B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818820A (zh) * | 2021-01-28 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN113643184A (zh) * | 2021-10-18 | 2021-11-12 | 广东唯仁医疗科技有限公司 | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018162690A1 (en) * | 2017-03-10 | 2018-09-13 | Carl Zeiss Meditec, Inc. | Method for analyzing avascular regions in optical coherence tomography angiography images |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
| WO2019240257A1 (ja) * | 2018-06-15 | 2019-12-19 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
-
2020
- 2020-03-06 CN CN202010150103.1A patent/CN111242850B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018162690A1 (en) * | 2017-03-10 | 2018-09-13 | Carl Zeiss Meditec, Inc. | Method for analyzing avascular regions in optical coherence tomography angiography images |
| WO2019240257A1 (ja) * | 2018-06-15 | 2019-12-19 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUKUN GUO等: "Automated segmentation of retinal layer boundaries and capillary plexuses in wide-field optical coherence tomographic angiography" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818820A (zh) * | 2021-01-28 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN112818820B (zh) * | 2021-01-28 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN113643184A (zh) * | 2021-10-18 | 2021-11-12 | 广东唯仁医疗科技有限公司 | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 |
| CN113643184B (zh) * | 2021-10-18 | 2022-02-18 | 广东唯仁医疗科技有限公司 | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111242850B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12040079B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| Ma et al. | ROSE: a retinal OCT-angiography vessel segmentation dataset and new model | |
| KR102543875B1 (ko) | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 | |
| US20210390696A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable storage medium | |
| US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| JP7341874B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Abràmoff et al. | Retinal imaging and image analysis | |
| WO2020036182A1 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
| JP7297628B2 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
| US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2020058800A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2015165989A2 (en) | Enhanced vessel characterization in optical coherence tomograogphy angiography | |
| JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
| Lim et al. | Generative data augmentation for diabetic retinopathy classification | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| Liu et al. | Disentangled representation learning for OCTA vessel segmentation with limited training data | |
| JP7344847B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111242850B (zh) | 一种广域眼底光学相干血流成像分辨率提升方法 | |
| JP2022155690A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111436905A (zh) | 一种光学相干层析血管造影方法及装置 | |
| CN115810004A (zh) | 一种光学相干断层扫描脉络膜血管分层造影方法 | |
| Yuan et al. | Image enhancement of wide-field retinal optical coherence tomography angiography by super-resolution angiogram reconstruction generative adversarial network | |
| Timothy et al. | Spectral bandwidth recovery of optical coherence tomography images using deep learning | |
| JP7579372B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |