CN114359104A - 一种基于分级生成的白内障眼底图像增强方法 - Google Patents
一种基于分级生成的白内障眼底图像增强方法 Download PDFInfo
- Publication number
- CN114359104A CN114359104A CN202210019469.4A CN202210019469A CN114359104A CN 114359104 A CN114359104 A CN 114359104A CN 202210019469 A CN202210019469 A CN 202210019469A CN 114359104 A CN114359104 A CN 114359104A
- Authority
- CN
- China
- Prior art keywords
- image
- fundus
- layer
- ambiguity
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 208000002177 Cataract Diseases 0.000 title claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 38
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 239000003623 enhancer Substances 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 210000004220 fundus oculi Anatomy 0.000 claims description 10
- 230000002207 retinal effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 206010025421 Macule Diseases 0.000 claims description 5
- 238000003759 clinical diagnosis Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 206010002329 Aneurysm Diseases 0.000 claims description 4
- 208000009857 Microaneurysm Diseases 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 210000000416 exudates and transudate Anatomy 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims 3
- 210000001525 retina Anatomy 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000001303 quality assessment method Methods 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000004402 high myopia Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种基于分级生成的白内障眼底图像增强方法，属于图像增强技术领域。针对现有的眼底图像增强方法存在的不足和缺陷，对于深度学习中配对数据的制约，本方法利用图像成像模型退化高质量图像生成相应的多模糊度数据集。对于过增强以及欠增强的问题，本方法根据生成的多模糊度数据集训练模糊度分类器以及多个模糊眼底增强器来增强不同模糊度的白内障图像。与现有技术相比，本方法有效解决了深度学习中配对数据数据获取困难的问题，并且有助于全参考质量评估的应用，可以有效增强不同模糊度的白内障图像，增强的结果对比度好，解决了过增强、欠增强的问题。同时本方法有效提升了增强图像的准确性，增强后细小血管的保真度更好。
Description
技术领域
本发明涉及一种基于分级生成的白内障眼底图像增强方法，属于图像增强技术领域。
背景技术
白内障作为一种眼科疾病，常见于中老年人群中，表现为屈光介质浑浊。在进行眼底图像采集过程中，到达相机的反射光通过混浊介质后会减弱，导致视网膜图像的对比度降低，影响视网膜结构的可见度。此外，高度近视、青光眼等疾病，也可能出现并发症引发白内障，导致眼底结构可见性变差。部分眼科疾病症状不明显，例如玻璃疣、微动脉瘤和轻微出血点，对比度的降低会影响眼科医师的临床诊断。对于计算机辅助诊断而言，如血管分割与跟踪，也需要清晰的眼底结构。因此，有必要对白内障眼底图像进行增强，增加图像的对比度，满足临床诊断以及计算机分析处理的需求。
现有的眼底图像增强方法包括传统方法和基于深度学习的方法。其中，传统的眼底图像增强方法，大多基于滤波器、统计直方图或图像成像模型。传统方法为了提升图像对比度，噪声被相应的放大。另外，此类方法往往步骤繁多，并依赖经验设定的参数，当模糊度不同时，存在色彩失真、过增强、欠增强等现象。
基于深度学习的方法往往受制于有限的数据，因为训练端到端的增强网络需要配对数据的约束。目前，有一些方法利用循环一致性损失来降低数据的约束，非配对的数据集在训练中被使用，但由于没有配对数据的监督，增强的准确性是重要的挑战。另外，增强的结果不能使用如PSNR、SSIM等全参考评估，量化评价受限。还有一些方法利用白内障手术前后眼底图作为训练数据，然而，该数据较难得到，数据量十分受限，并且在应用前还需要进行配准。
发明内容
本方法的目的是针对现有的眼底图像增强方法存在的不足和缺陷，对于深度学习中配对数据的制约，创造性地提出一种基于分级生成的白内障眼底图像增强方法。
本发明的创新点在于：利用图像成像模型退化高质量图像生成相应的多模糊度数据集。对于过增强以及欠增强的问题，本方法根据生成的多模糊度数据集训练模糊度分类器以及多个模糊眼底增强器来增强不同模糊度的白内障图像。
本发明采用以下技术方案实现。
一种基于分级生成的白内障眼底图像增强方法，包括如下步骤：
步骤1：利用图像成像模型，构建多模糊度数据集。
具体地，步骤1包括以下步骤：
步骤1.1：筛选彩色眼底图像，构建清晰数据集。
筛选要求包括：所有主要视网膜结构均清晰可见，包括视盘、黄斑和主要血管；视网膜小结构均清晰可见，包括微动脉瘤、硬性渗出物、玻璃疣、二分叉后的小血管。
步骤1.2：对清晰数据集中的图像进行预处理。
采用阈值法提取图像的感兴趣区域(Region Of Interest，ROI)，剪裁图像的掩膜至ROI边界，并对图像大小进行归一化，调整大小至N×N像素，N表示图像的长与宽的像素数。优选地，N取值范围为[128,2048]，且为整数。
步骤1.3：利用图像成像模型对清晰数据集进行图像退化，生成不同模糊度的眼底图像，构建多模糊度数据集。
图像成像模型如式(1)所示：
I(i,j)＝J(i,j)·t+A(i,j)(1-t) (1)
其中，i,j∈[1,N]，分别表示像素的横、纵坐标的索引；I(i,j)为观测到的强度，I为退化图像；J(i,j)为全反射强度，J指清晰图像；A(i,j)为环境强度，A由高斯模糊估计得到；t为透射率，取值范围为[0,1]，t取值越大透射率越高，退化图像的对比度越高，图像更加清晰，更接近于清晰图像J，t取值越小则透射率越低，退化图像对比度越小，图像更加模糊，图像更接近于A。
具体地，图像退化过程如下：
步骤1.3.1：对清晰图像J用阈值法提取掩膜Mask，并对掩膜边界进行形态学腐蚀，填充相邻值，从而减少边界的影响。边界填充后的图像记为Jp。
步骤1.3.2：由图像Jp通过高斯模糊得到环境强度A，如式(2)所示：
A(i,j)＝(Jp(i,j)*Gauss)·Mask (2)
其中，*为卷积；Gauss为高斯核，高斯核应覆盖眼底主要结构，包括视盘、黄斑和主要血管；高斯核的大小ks取值范围为
高斯核的方差取值为ks/π，N表示图像的长与宽的像素数，π表示圆周率。
步骤1.3.3：从[0,1]中选取t，结合清晰图像J以及步骤1.3.2中得到的环境强度A，根据式(1)得到对应模糊度的退化图像。
步骤1.3.4：为了得到多个模糊度的退化图像，从[0,1]中选取m个t，由t从小到大排序记为[t1,t2,…,ti,…,tm]，重复步骤1.3.1到1.3.3，获得m张退化图像，并与原图构成多模糊度数据集Sm，其中m∈(2,10]且为整数，t1对应最模糊的退化图像，tm对应最清晰的退化图像，ti为第i类模糊度的退化图像，i∈[1,m]且为整数。
步骤2：利用步骤1的多模糊度数据集Sm，训练模糊度分类器。
具体地，步骤2包括以下步骤：
步骤2.1：将多模糊度数据集划分为训练集与验证集，对训练集进行增广，以提升本方法的鲁棒性，包括平移、旋转、翻转、混合数据增广mixup、随机擦除增广Cutout等。
步骤2.2：构建模糊度分类器。
该模糊度分类器包括主干网络与分类头。其中，主干网络可以选择Resnet、Efficienet、Tranformer等结构，并加载在ImageNet数据集预训练的权重，作为初始权重；分类头负责对主干网络提取的特征图分类，分类头包括池化层以及全连接层，其中，池化层可选择最大池化、平均池化等，全连接层输入通道数根据主干网路的输出进行调整，输出通道数为m，即分类m个不同模糊度的图像。
步骤2.3：对构建的分类器进行训练。
训练时可选择AdamW、SGD等优化器。训练的损失函数选择交叉熵损失
如式(3)所示：
其中，yi与pi分别为第i类的标签与预测值，i∈[1,m]且为整数；训练目标为最小化损失函数，调整学习率令其在验证集上达到最优，保存训练好的分类器作为本方法的模糊度分类器；
步骤3：利用多模糊度数据集，训练模糊眼底增强器。
设当白内障图像通过模糊度分类器分类结果为第1类，即ti＝t1时图像过度模糊，解剖结构不可见，故不对其进行增强；当分类结果为第m类，即ti＝tm时，输入图像较为清晰，符合眼科医师临床诊断的需求，故也不增强。
因此，本阶段共训练m-2个模糊眼底增强器，利用对抗学习来协同训练增强器Ei以及判别器Di，第i类模糊度退化图像为
对应退化透射率为ti，其中i∈[2,m-1]且为整数，xi对应的清晰图像为
Ei的作用是增强模糊度等级为i的白内障图像xi，令其更接近于清晰图像x，Di的作用是判断图像为真实的清晰图像x还是Ei增强的图像Ei(xi)。
表示实数域，N表示图像的长与宽的像素数。
具体地，增强过程包括以下步骤：
步骤3.1：构建模糊眼底增强器Ei，其中i∈[2,m-1]且为整数，增强器的整体借鉴U-Net网络结构，即：浅层输出的特征层与对应的深层特征通过跳跃连接进行合并，这样可以使浅层小感受野的信息与深层大感受野的信息相结合。与U-Net结构不同的是，本方法舍弃了下采样和上采样层，这是因为下采样是通过合并相邻像素或隔行像素去除来实现的，这会破坏视网膜结构，而上采样是通过使用插值增加图像大小来实现的，这又将引入额外的信息。增强，是为了加强弱视网膜结构，而不是去除原始信息或产生附加信息。去掉下采样和上采样的层之后，每一层的特征图大小一样。
模糊眼底增强器的基础模块包括6层：卷积、正则化、激活、卷积、正则化和激活。优选地，每个卷积层的大小为3×3，卷积操作步长为1。
整个增强器有7个基础模块，第7个模块输出为最终增强结果，第k个模块输出的特征图与第7-k个模块特征图合并连接，k＝{1,2,3}。此外，在第四个模块卷积前加入dropout层，旨在减少训练过程中的过拟合，基础模块的卷积的通道数为16、32、64、128、64、32、16，最后一层卷积的通道数为3，生成3通道的RGB图像。
步骤3.2：构建判别器Di，判别器Di的输入为真实清晰图像x与模糊增强器增强的图像Ei(xi)，输出为判别图像为真的概率，d∈[0,1]，当输入为真实清晰图像x时，d接近于1，当输入为增强图像Ei(xi)时，d接近于0。最终输出预测概率。
优选地，判别器的基础模块是基于特征重用块。特征重用块由特征提取单元和特征融合传输单元组成；特征提取单元包括两个卷积层、两个批量归一化层和一个激活层；特征融合传输单元包括一个附加层、一个激活层和一个下采样层。在全连接层之前，总共使用6组特征重用块。第一个基本模块卷积核的通道为16，较深的特征重用块的宽度是上层宽度的两倍，特征重用块之后为3个全连接层，通道数分别为64、16、1。
步骤3.3：协同训练模糊眼底增强器Ei与判别器Di，训练的损失函数由两部分构成，其中
损失为：
旨在约束生成图像趋向于清晰图像，对抗性损失
为：
最终的约束目标为：
其中，Ei *、Di *为优化后的结果。最小化该损失函数以优化Ei，最大化该损失函数以得到训练好的Di。训练过程可以采用Adam优化器，训练200个epoch，epoch表示所有数据经过一次训练。
步骤3.4：为了得到m-2个模糊眼底增强器，分别选择Sm中模糊度i为[2,3,…,m-1]的退化图像xi与清晰图像训练x训练模糊眼底增强器，重复步骤3.1至步骤3.3，得到一组模糊眼底增强器{E2,E3,…,Em-1}，保存训练好的模糊眼底增强器。
步骤4：利用训练好的模糊度分类器，对眼底图像的模糊度分类，得到模糊度等级i。
判断该眼底图是否需要增强。当分类模糊度为[2,3,…,m-1]，即对应透射率为[t2,…,tm-1]时需要增强，分类结果为1与m，即对应t1和tm时不需要增强。
若不需要增强，则直接输出原图。若需要增强，则送入相应的模糊眼底增强器Ei进行增强，得到最终的图像增强结果。
有益效果
本发明方法，与现有技术相比，具有如下优点：
1.所述方法,通过图像成像模型构建多模糊度数据集，有效解决了深度学习中配对数据数据获取困难的问题，并且有助于全参考质量评估的应用。
2.所述方法,包含模糊度分类器以及不同的模糊眼底增强器，可以有效的增强不同模糊度的白内障图像，增强的结果对比度较好，解决了过增强，欠增强的问题。
3.所述方法,设计了非下采样的U-Net网络结构作为模糊眼底增强器，有效的提升了增强图像的准确性，增强后细小血管的保真度更好。
附图说明
图1为本发明方法及实施例中的流程示意图；
图2为本发明方法模糊眼底增强器与判别器结构示意图。
具体实施方式
下面结合附图和实施例对本发明方法进行详细描述。
实施例
本实施例阐述了本发明方法的具体实施过程。
图1为本方法的流程图，包括如下步骤：
步骤1：利用图像成像模型构建多模糊度数据集，具体包括如下子步骤：
步骤1.1：根据筛选准则，从临床采集的眼底图像中筛选，得到包含350张眼底彩照的清晰数据集，筛选准则如下：(1)所有主要的视网膜结构都应清晰可见，包括视盘、黄斑和主要血管；(2)视网膜小结构应清晰可见，包括微动脉瘤、硬性渗出物、玻璃疣、二分叉后的小血管；
步骤1.2：对清晰数据集中的图像进行预处理，采用阈值法提取图像的ROI区域，剪裁图像的掩膜至ROI边界，对图像大小进行归一化，调整大小至512×512像素；
步骤1.3：利用图像成像模型对清晰数据集进行图像退化，生成不同模糊度的眼底图像，构建多模糊度数据集，图像成像模型如式(1)所示：
I(i,j)＝J(i,j)·t+A(i,j)(1-t) (1)
其中，i,j∈[1,512]，为像素横纵坐标的索引，I(i,j)为观测到的强度，I在本方法中为退化图像，J(i,j)为全反射强度，J在本方法中指清晰图像，A(i,j)为环境强度，A在本方法中由高斯模糊估计得到，t为透射率，取值范围为[0,1]，取值越大透射率越高，退化图像的对比度越高，图像更加清晰，更接近于清晰图像J，取值越小则透射率越低，退化图像对比度越小，图像更加模糊，图像更接近于A。
具体地，图像退化过程为：
步骤1.3.1：对清晰图像J用阈值法提取掩膜Mask，并对掩膜边界进行形态学腐蚀，填充相邻值，减少边界的影响，边界填充后的图像记为Jp；
步骤1.3.2：由Jp通过高斯模糊得到环境强度A，过程如式(2)所示：
A(i,j)＝(Jp(i,j)*Gauss)·Mask (2)
其中，*为卷积，Gauss为高斯核，高斯核应覆盖眼底主要结构如视盘，核的大小ks取值为101，高斯核的方差取值为101/π；
步骤1.3.3：从[0,1]中选取t＝0.05，结合清晰图像J以及步骤1.3.2中得到的环境强度A，根据式(1)得到对应模糊度的退化图像；
步骤1.3.4：为了得到多个模糊度的退化图像，从[0,1]中选取7个t，由t从小到大排序记为[0.05,0.15,0.25,0.35,0.45,0.55,0.65]重复步骤1.3.1到1.3.3，与原图构成多模糊度数据集Sm，其中t＝0.05对应最模糊的退化图像，t＝0.65对应最清晰的退化图像；
步骤2：利用步骤1多模糊度数据集Sm训练模糊度分类器，具体包括如下子步骤：
步骤2.1：将多模糊度数据集划分为训练集与验证集，其中训练集包含300组图像，验证集包含50组图像，对训练集进行平移、旋转、翻转、Mixup、Cutout增广以提升本方法的鲁棒性；
步骤2.2：构建模糊度分类器，该模糊度分类器分为两部分，主干网络与分类头，主干网络选择Resnet结构，并加载在ImageNet数据集中预训练的权重作为初始权重；分类头负责将主干网络提取的特征图分类，分类头包括池化层以及全连接层，池化层可选择最大池化，全连接层输入通道数根据主干网路的输出进行调整，输出通道数为7，即分类7个不同模糊度的图像；
步骤2.3：对构建的分类器进行训练，训练时可选择AdamW优化器，训练的损失函数选择交叉熵损失
如式(3)所示：
其中，yi与pi为第i类的标签与预测值，i∈[1,7]且为整数，训练目标为最小化损失函数，调整学习率令其在验证集上达到最优，保存训练好的分类器作为本方法的模糊度分类器；
步骤3：利用多模糊度数据集训练模糊眼底增强器。
设当白内障图像通过模糊度分类器分类结果为第1类，即ti＝0.05时图像过度模糊，解剖结构不可见，故不对其进行增强，分类结果为第m类，即ti＝0.65时，输入图像较清晰，已经符合眼科医师临床诊断的需求，故也不增强，因此本阶段共训练5个模糊眼底增强器，我们利用对抗学习来协同训练增强器Ei以及判别器Di，第i类模糊度退化图像为
对应退化透射率为ti，其中i∈[2,6]且为整数，xi对应的清晰图像为
Ei的作用是增强模糊度等级为i的白内障图像xi，令其更接近于清晰图像x，Di的作用是判断图像为真实的清晰图像x还是Ei增强的图像Ei(xi)，模糊眼底增强器和判别器的结构如图2所示；
具体增强过程，包括如下子步骤：
步骤3.1：构建模糊眼底增强器Ei，其中i∈[2,6]且为整数，增强器的整体借鉴U-Net结构，即浅层输出的特征层与对应的深层特征通过跳跃连接进行合并，这样可以使浅层小感受野的信息与深层大感受野的信息相结合，与U-Net结构不同的是，本方法舍弃了下采样和上采样层，下采样是通过合并相邻像素或隔行像素去除来实现的，这会破坏视网膜结构，上采样是通过使用插值增加图像大小来实现的，这将引入额外的信息，本方法认为增强是为了加强弱视网膜结构，而不是去除原始信息或产生附加信息，去掉下采样和上采样的层后，每一层的特征图大小一样；
模糊眼底增强器的基础模块包括6层：卷积、正则化、激活、卷积、正则化、激活，每个卷积层的大小为3×3，步长为1，整个增强器有7个这样的基础模块，第7个模块输出为最终增强结果，第k个模块输出的特征图与第7-k个模块特征图合并连接，k＝{1,2,3}，另外，第四个模块卷积前加入dropout层，旨在减少训练过程中的过拟合，基础模块的卷积的通道数为16、32、64、128、64、32、16，最后一层卷积的通道数为3，生成3通道的RGB图像；
步骤3.2：构建判别器Di，判别器Di的输入为真实清晰图像x与模糊增强器增强的图像Ei(xi)，输出为判别图像为真的概率，d∈[0,1]，当输入为真实清晰图像x时，d接近于1，当输入为增强图像Ei(xi)时，d接近于0；
判别器的基础模块基于特征重用块，特征重用块由特征提取单元和特征融合传输单元组成；特征提取单元包括两个卷积层、两个批量归一化层和一个激活层；特征融合传输单元包括一个附加层、一个激活层和一个下采样层。在全连接层之前总共使用了六组特征重用块。第一个基本模块卷积核的通道为16，较深的特征重用块的宽度是上层宽度的两倍，特征重用块之后为三个全连接层，通道数为64、16、1，最终输出预测概率；
步骤3.3：协同训练模糊眼底增强器Ei与判别器Di，训练的损失函数由两部分构成，其中
损失为：
旨在约束生成图像趋向于清晰图像，对抗性损失
为：
最终的约束目标为：
Ei *,Di *为优化后的结果，最小化该损失函数以优化Ei，最大化该损失函数以得到训练好的Di，训练过程采用Adam优化器，训练200个epoch；
步骤3.4：为了得到5个模糊眼底增强器，分别选择Sm中模糊度i为[2,3,4,5,6]的退化图像xi与清晰图像训练x训练模糊眼底增强器。重复步骤3.1至步骤3.3，得到一组模糊眼底增强器{E2,E3,…,E6}，保存训练好的模糊眼底增强器；
步骤4：利用训练好的模糊度分类器对眼底图像的模糊度分类，得到模糊度等级i，判断该眼底图是否需要增强，分类模糊度为[2,3,4,5,6]，即对应透射率为[0.15,0.25,0.35,0.45,0.55]时需要增强，分类结果为1与7，即对应t1＝0.05和tm＝0.65时不需要增强，若不需要增强，则直接输出原图，若需要增强，则送入相应的模糊眼底增强器Ei进行增强，得到最终的增强结果。
Claims (9)
1.一种基于分级生成的白内障眼底图像增强方法，其特征在于，包括如下步骤：
步骤1：利用图像成像模型构建多模糊度数据集，包括以下步骤：
步骤1.1：筛选彩色眼底图像，构建清晰数据集；筛选要求包括：所有主要视网膜结构均清晰可见，包括视盘、黄斑和主要血管；视网膜小结构均清晰可见，包括微动脉瘤、硬性渗出物、玻璃疣、二分叉后的小血管；
步骤1.2：对清晰数据集中的图像进行预处理；
步骤1.3：利用图像成像模型对清晰数据集进行图像退化，生成不同模糊度的眼底图像，构建多模糊度数据集，图像成像模型如式1所示：
I(i,j)＝J(i,j)·t+A(i,j)(1-t) (1)
其中，i,j∈[1,N]，分别表示像素的横、纵坐标的索引；I(i,j)为观测到的强度，I为退化图像；J(i,j)为全反射强度，J指清晰图像；A(i,j)为环境强度，A由高斯模糊估计得到；t为透射率，取值范围为[0,1]，t取值越大透射率越高，退化图像的对比度越高，图像更加清晰，更接近于清晰图像J，t取值越小则透射率越低，退化图像对比度越小，图像更加模糊，图像更接近于A；
步骤2：利用步骤1的多模糊度数据集Sm训练模糊度分类器，包括以下步骤：
步骤2.1：将多模糊度数据集划分为训练集与验证集，对训练集进行增广，包括平移、旋转、翻转、混合数据增广mixup、随机擦除增广Cutout；
步骤2.2：构建模糊度分类器，包括主干网络与分类头；
其中，主干网络可以选择Resnet、Efficienet、Tranformer等结构，并加载在ImageNet数据集预训练的权重，作为初始权重；分类头负责对主干网络提取的特征图分类，分类头包括池化层以及全连接层，其中，池化层可选择最大池化、平均池化等，全连接层输入通道数根据主干网路的输出进行调整，输出通道数为m，即分类m个不同模糊度的图像；
步骤2.3：对构建的分类器进行训练，训练的损失函数选择交叉熵损失
如式3所示：
其中，yi与pi分别为第i类的标签与预测值，i∈[1,m]且为整数；训练目标为最小化损失函数，调整学习率令其在验证集上达到最优，保存训练好的分类器作为本方法的模糊度分类器；
步骤3：利用多模糊度数据集，训练模糊眼底增强器；
设当白内障图像通过模糊度分类器分类结果为第1类，即ti＝t1时图像过度模糊，解剖结构不可见，故不对其进行增强；当分类结果为第m类，即ti＝tm时，输入图像较为清晰，符合眼科医师临床诊断的需求，故也不增强；
本阶段共训练m-2个模糊眼底增强器，利用对抗学习来协同训练增强器Ei以及判别器Di，第i类模糊度退化图像为
对应退化透射率为ti，其中i∈[2,m-1]且为整数，xi对应的清晰图像为
Ei的作用是增强模糊度等级为i的白内障图像xi，令其更接近于清晰图像x，Di的作用是判断图像为真实的清晰图像x还是Ei增强的图像Ei(xi)；
表示实数域，N表示图像的长与宽的像素数；
步骤4：利用训练好的模糊度分类器，对眼底图像的模糊度分类，得到模糊度等级i；
判断该眼底图是否需要增强；当分类模糊度为[2,3,…,m-1]，即对应透射率为[t2,…,tm-1]时需要增强，分类结果为1与m，即对应t1和tm时不需要增强；
若不需要增强，则直接输出原图；若需要增强，则送入相应的模糊眼底增强器Ei进行增强，得到最终的图像增强结果。
2.如权利要求1所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤1.2做处理时，采用阈值法提取图像的感兴趣区域ROI，剪裁图像的掩膜至ROI边界，并对图像大小进行归一化，调整大小至N×N像素，N表示图像的长与宽的像素数，且N为整数。
3.如权利要求2所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，N取值范围为[128,2048]。
4.如权利要求1所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤1.3中，图像退化的过程如下：
步骤1.3.1：对清晰图像J用阈值法提取掩膜Mask，并对掩膜边界进行形态学腐蚀，填充相邻值，从而减少边界的影响；边界填充后的图像记为Jp；
步骤1.3.2：由图像Jp通过高斯模糊得到环境强度A，如式2所示：
A(i,j)＝(Jp(i,j)*Gauss)·Mask (2)
其中，*为卷积；Gauss为高斯核，高斯核应覆盖眼底主要结构，包括视盘、黄斑和主要血管；高斯核的大小ks取值范围为
高斯核的方差取值为ks/π，N表示图像的长与宽的像素数，π表示圆周率；
步骤1.3.3：从[0,1]中选取t，结合清晰图像J以及步骤1.3.2中得到的环境强度A，根据式1得到对应模糊度的退化图像；
步骤1.3.4：为了得到多个模糊度的退化图像，从[0,1]中选取m个t，由t从小到大排序记为[t1,t2,…,ti,…,tm]，重复步骤1.3.1到1.3.3，获得m张退化图像，并与原图构成多模糊度数据集Sm，其中m∈(2,10]且为整数，t1对应最模糊的退化图像，tm对应最清晰的退化图像，ti为第i类模糊度的退化图像，i∈[1,m]且为整数。
5.如权利要求1所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤3中的增强过程，包括以下步骤：
步骤3.1：构建模糊眼底增强器Ei，其中i∈[2,m-1]且为整数，增强器的整体借鉴U-Net结构，浅层输出的特征层与对应的深层特征通过跳跃连接进行合并，但舍弃下采样和上采样层；去掉下采样和上采样的层之后，每一层的特征图大小一样；
模糊眼底增强器的基础模块包括6层：卷积、正则化、激活、卷积、正则化和激活；整个增强器有7个基础模块，第7个模块输出为最终增强结果，第k个模块输出的特征图与第7-k个模块特征图合并连接，k＝{1,2,3}；此外，在第四个模块卷积前加入dropout层；
步骤3.2：构建判别器Di，判别器Di的输入为真实清晰图像x与模糊增强器增强的图像Ei(xi)，输出为判别图像为真的概率，d∈[0,1]，当输入为真实清晰图像x时，d接近于1，当输入为增强图像Ei(xi)时，d接近于0；最终输出预测概率；
步骤3.3：协同训练模糊眼底增强器Ei与判别器Di，训练的损失函数由两部分构成，其中
损失为：
旨在约束生成图像趋向于清晰图像，对抗性损失
为：
最终的约束目标为：
其中，Ei *、Di *为优化后的结果；最小化该损失函数以优化Ei，最大化该损失函数以得到训练好的Di；
步骤3.4：为了得到m-2个模糊眼底增强器，分别选择Sm中模糊度i为[2,3,…,m-1]的退化图像xi与清晰图像训练x训练模糊眼底增强器，重复步骤3.1至步骤3.3，得到一组模糊眼底增强器{E2,E3,…,Em-1}，保存训练好的模糊眼底增强器。
6.如权利要求5所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤3.1中，基础模块的卷积的通道数为16、32、64、128、64、32、16，最后一层卷积的通道数为3，生成3通道的RGB图像。
7.如权利要求5所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，每个卷积层的大小为3×3，卷积操作步长为1。
8.如权利要求5所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤3.2中，判别器的基础模块是基于特征重用块，特征重用块由特征提取单元和特征融合传输单元组成；
特征提取单元包括2个卷积层、2个批量归一化层和1个激活层；特征融合传输单元包括1个附加层、1个激活层和1个下采样层；
在全连接层之前，总共使用6组特征重用块；
第一个基本模块卷积核的通道为16，较深的特征重用块的宽度是上层宽度的两倍，特征重用块之后为3个全连接层，通道数分别为64、16、1。
9.如权利要求5所述的一种基于分级生成的白内障眼底图像增强方法，其特征在于，步骤3.3中，训练过程采用Adam优化器，训练200个epoch，epoch表示所有数据经过一次训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210019469.4A CN114359104A (zh) | 2022-01-10 | 2022-01-10 | 一种基于分级生成的白内障眼底图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210019469.4A CN114359104A (zh) | 2022-01-10 | 2022-01-10 | 一种基于分级生成的白内障眼底图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359104A true CN114359104A (zh) | 2022-04-15 |
Family
ID=81107460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210019469.4A Pending CN114359104A (zh) | 2022-01-10 | 2022-01-10 | 一种基于分级生成的白内障眼底图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359104A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115660985A (zh) * | 2022-10-25 | 2023-01-31 | 中山大学中山眼科中心 | 白内障眼底图像的修复方法、修复模型的训练方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886991A (zh) * | 2017-01-20 | 2017-06-23 | 北京理工大学 | 一种基于彩色眼底图的模糊度自动分级方法 |
| CN110675325A (zh) * | 2018-07-03 | 2020-01-10 | 江威 | 一种增强眼底图像的方法和装置 |
| CN111931816A (zh) * | 2020-07-09 | 2020-11-13 | 河南工业大学 | 一种视网膜图像平行处理方法及装置 |
| CN112966759A (zh) * | 2021-03-15 | 2021-06-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习的眼底图像识别分类方法 |
| CA3174691A1 (en) * | 2020-03-09 | 2021-09-16 | 10353744 Canada Ltd. | Human face fuzziness detecting method, device, computer equipment and storage medium |
| WO2021253939A1 (zh) * | 2020-06-18 | 2021-12-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
-
2022
- 2022-01-10 CN CN202210019469.4A patent/CN114359104A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886991A (zh) * | 2017-01-20 | 2017-06-23 | 北京理工大学 | 一种基于彩色眼底图的模糊度自动分级方法 |
| CN110675325A (zh) * | 2018-07-03 | 2020-01-10 | 江威 | 一种增强眼底图像的方法和装置 |
| CA3174691A1 (en) * | 2020-03-09 | 2021-09-16 | 10353744 Canada Ltd. | Human face fuzziness detecting method, device, computer equipment and storage medium |
| WO2021253939A1 (zh) * | 2020-06-18 | 2021-12-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
| CN111931816A (zh) * | 2020-07-09 | 2020-11-13 | 河南工业大学 | 一种视网膜图像平行处理方法及装置 |
| CN112966759A (zh) * | 2021-03-15 | 2021-06-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习的眼底图像识别分类方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115660985A (zh) * | 2022-10-25 | 2023-01-31 | 中山大学中山眼科中心 | 白内障眼底图像的修复方法、修复模型的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiao et al. | Weighted res-unet for high-quality retina vessel segmentation | |
| CN110276356B (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
| CN109308692B (zh) | 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 | |
| CN111292338B (zh) | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 | |
| CN109166126A (zh) | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 | |
| CN106683080B (zh) | 一种视网膜眼底图像预处理方法 | |
| CN110097554A (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
| Bian et al. | Optic disc and optic cup segmentation based on anatomy guided cascade network | |
| Mumtaz et al. | Automatic detection of retinal hemorrhages by exploiting image processing techniques for screening retinal diseases in diabetic patients | |
| CN107330876A (zh) | 一种基于卷积神经网络的图像自动诊断方法 | |
| CN114881962B (zh) | 一种基于改进U-Net网络的视网膜图像血管分割方法 | |
| Li et al. | Vessel recognition of retinal fundus images based on fully convolutional network | |
| Yang et al. | Retinal image enhancement with artifact reduction and structure retention | |
| CN114359104A (zh) | 一种基于分级生成的白内障眼底图像增强方法 | |
| CN109410191B (zh) | 基于oct图像的眼底血管定位方法及其贫血筛查方法 | |
| CN116503422A (zh) | 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| Prabha et al. | Diabetic Retinopathy Detection Using Automated Segmentation Techniques | |
| CN111292285A (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
| CN115205315A (zh) | 一种眼科体征保持的眼底图像增强方法 | |
| Roy et al. | Retnet: Retinal disease detection using convolutional neural network | |
| Shaikha et al. | Optic Disc Detection and Segmentation in Retinal Fundus Image | |
| CN114820325A (zh) | 仿鹰视顶盖的眼底oct图像重建模型、方法、设备及存储介质 | |
| Yerramneni et al. | A generalized grayscale image processing framework for retinal fundus images | |
| Timothy et al. | Spectral bandwidth recovery of optical coherence tomography images using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |