CN115100187A - 一种基于联邦学习的青光眼图像检测方法 - Google Patents
一种基于联邦学习的青光眼图像检测方法 Download PDFInfo
- Publication number
- CN115100187A CN115100187A CN202210892726.5A CN202210892726A CN115100187A CN 115100187 A CN115100187 A CN 115100187A CN 202210892726 A CN202210892726 A CN 202210892726A CN 115100187 A CN115100187 A CN 115100187A
- Authority
- CN
- China
- Prior art keywords
- glaucoma
- cup
- image
- stage
- disc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000010412 Glaucoma Diseases 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000003745 diagnosis Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012805 post-processing Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 11
- 230000000717 retained effect Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000005065 mining Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于联邦学习的青光眼图像检测方法。建立了一个两阶段的青光眼诊断网络模型，通过两阶段的青光眼诊断网络模型对眼底图像进行处理，第一阶段用于获得杯盘比结果，第二阶段用于获得青光眼分类概率结果；收集眼底图像数据并预处理，用预处理后的眼底图像数据对两阶段的青光眼诊断网络模型中的第二阶段进行训练，获得训练后的两阶段的青光眼诊断网络模型；针对待测的眼底图像输入训练后的两阶段的青光眼诊断网络模型获得两阶段的结果，综合两阶段的结果对眼底图像中的青光眼情况进行分类判断。本发明实现了快速高效的青光眼图像检测，方法大大减少了医生的诊断周期。
Description
技术领域
本发明属于计算机辅助医学图像处理领域的一种医学图像处理方法，涉及一种对青光眼图像进行分类的方法。
背景技术
眼底图像数据对判断其是否为青光眼患者有着至关重要的作用。目前青光眼的诊断没有明确的标准，主要由临床医生对青光眼影像进行主观分析，如是否存在杯盘比增大等情况。青光眼影像包括眼底图像和OCT，其解读都需要大量有经验的青光眼专家或训练有素的技术员，既费时又费力，很难对其进行筛查和诊断。同时，基于隐私保护政策，很多来自不同医院患者的数据是不可访问的，这种情况下，对患者数据进行的计算都必须保持本地化，而传统的无监督多源领域自适应方法假设所有源域数据都可以直接访问。目前通过借助深度学习方法对青光眼图像进行分类的方法通常围绕对眼底图像中的视杯和视盘进行分割，获得杯盘比进行分类。从UNET分割网络提出至今，越来越多的基于UNET网络的变种分割网络也被提出，它们对应的分割精度也越来越高，比如UNET++和UNET3+。这些方法的输入是一张病理图像，输出是一张带有所需病理区域分割结果的二值图像。然而，青光眼的诊断过程是极其严格和复杂的，单一的考虑杯盘比的单一结果是不可靠的。除了从眼底图像中观察杯盘比，还应该考虑视网膜神经纤维的改变对青光眼诊断的影响。
上述提到的方法通常诊断是否为青光眼只来源于图像分割的视杯视盘比。但是，实际青光眼诊断中，眼底图像中的其他特征同样也非常具有参考价值。同时，隐私保护政策要求所有数据和计算都必须在本地进行，限制了现有域适应方法的应用。
发明内容
本发明针对现有的基于分割杯盘的单一诊断信息不足的基础上，提出了一种基于联邦学习的青光眼图像检测方法，用于解决在隐私保护政策的要求下，现有方法对青光眼图像检测准确率较低的技术问题。
本发明提出了一种联合杯盘比和青光眼特征挖掘的二阶段网络架构。在第一阶段，提议了一种杯盘比分割方法，方法在现有分割网络基础上，添加了一个实时输出杯盘比的后置处理结构。尤其在青光眼特征挖掘阶段，出于隐私保护的目的，提议了一种无源领域自适应网络，该网络中提议了一种新的对齐源域和目标域分布风格的方法名为BatchNormSMMD。具体来说，它不在考虑单一的均值的影响，而是全面考虑了影响目标风格的均值和方差的共同影响。
本发明采用的技术方案如下：
本发明是建立了一个两阶段的青光眼诊断网络模型，第一阶段是针对眼底图像分割了杯盘比，第二阶段是针对青光眼特征进行挖掘，两阶段分别主要在于后置处理模块和批量归一化函数BatchNorm SMMD；最后通过信息融合模块，对眼底图像进行检测。此方法将大大减少医生的诊断周期，解决了数据量在隐私保护政策的要求下无法随意使用而导致有效数据量缺少而使得现有方法对青光眼图像检测准确率较低的技术问题。
方法包括以下步骤：
步骤1：建立了一个两阶段的青光眼诊断网络模型，通过两阶段的青光眼诊断网络模型对眼底图像进行处理，第一阶段用于获得杯盘比结果，第二阶段用于获得青光眼分类概率结果；
步骤2：收集眼底图像数据，并对眼底图像数据进行预处理，用预处理后的眼底图像数据对两阶段的青光眼诊断网络模型中的第二阶段进行训练，获得训练后的两阶段的青光眼诊断网络模型；
步骤3：针对待测的眼底图像输入训练后的两阶段的青光眼诊断网络模型获得两阶段的结果，综合两阶段的结果对眼底图像中的青光眼情况进行分类判断。
所述步骤1中的第一阶段包括依次设置的AG-Net分割网络和后置处理模块，通过AG-Net分割网络将每幅眼底图像分割为三个通道图像，将三个通道图像输入后置处理模块获得纵向杯盘比，具体为：
1.1)将眼底图像输入AG-Net分割网络获得输出图像X，在输出图像X中，舍弃背景通道图像，保留视杯通道图像Xcup和视盘通道图像Xdisc；
1.2)提取视杯通道图像Xcup和视盘通道图像Xdisc的连通区域并各自进行大小排序，取面积最大的N个连通区域，对于视杯通道图像Xcup和视盘通道图像Xdisc共计获得2N个连通区域；
1.3)统计视杯通道图像Xcup和视盘通道图像Xdisc中的连通区域的每个像素的像素值均设置为1，连通区域以外的其它区域的每个像素的像素值均设置0，获得视杯通道二值化图像和视盘通道二值化图像；
1.4)将视杯通道二值化图像和视盘通道二值化图像均依次进行腐蚀、膨胀的操作，得到最终的视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc；
1.5)计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc的外接矩形Zcup和Zdisc：
1.6)根据外接矩形计算纵向杯盘比：
vC/D＝Hcup/Hdisc
其中，v表示纵向，Hcup、Hdisc分别表示视杯通道外接矩形Zcup和视盘通道外接矩形Zdisc的高H，vC/D表示视杯外接矩形的高和视盘外接矩形的高之间的比例，作为纵向杯盘比。
所述步骤1.4)中，是计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc中像素值设置为1的区域求取在图像水平方向和图像竖直方向上的最大值和最小值点，共计四个点，外接矩形的四边分别经过所述四个点而设置出外接矩形。
所述步骤1中的第二阶段具体包括ResNet-50模型，所述的ResNet-50模型输入的是眼底图像，输出的是青光眼的分类概率值，将眼底图像输入到ResNet-50模型中输出获得青光眼的分类概率值。
所述步骤2，具体为：
2.1)收集的眼底图像数据，收集的眼底图像数据分为一个目标域眼底图像数据集和多个源域眼底图像数据集的两类；
所述的源域眼底图像数据集是指无法公众共享的数据且预先带有青光眼的分类标签，目标域眼底图像数据集是指可以公众共享的数据但不带有青光眼的分类标签。
2.2)先用多个源域眼底图像数据分别对本地离线的ResNet-50模型进行本地化训练，获得训练后的各个源域模型；
2.3)然后将目标域眼底图像数据集中的每幅眼底图像输入到训练后的各个源域模型进行预测处理，输出获得各个源域模型各自的青光眼分类概率值；
2.4)对所有源域模型各自的青光眼分类概率值进行筛选处理，筛选保留下来的所有青光眼分类概率值求平均值作为该幅眼底图像的软标签；
2.5)最后将目标域眼底图像数据集的所有幅眼底图像及其软标签输入到ResNet-50模型中采用批量归一化函数BatchNorm SMMD进行训练优化获得目标域模型。
所述2.4)中，对所有源域模型各自的青光眼分类概率值进行筛选处理，具体为：对所有源域模型各自的青光眼分类概率值对应的置信度和预设的置信度阈值进行比较进行第一次筛选，去除小于置信度阈值的青光眼分类概率值；然而对第一次筛选后保留的所有青光眼分类概率值进行一致性判断而进行第二次筛选，去除不一致的青光眼分类概率值。
所述2.5)中，在训练过程中在目标域模型和各个源域模型之间采用批量归一化函数BatchNorm SMMD进行以下处理：
从每个源域模型中提取获得各层批量归一化层BatchNorm存储的均值和方差
从目标域模型中提取获得各层批量归一化层BatchNorm存储的均值和方差
其中，
表示l从1到L取值，L是包含BatchNorm层的总数，l是第l个BatchNorm层,所以
表示l从1到L取值；
然后按照以下公式处理计算总损失Loss：
其中，Loss表示总损失，
表示第k个源域模型在第l个BatchNorm层上的特征，μ()表示特征的均值，σ2()表示特征的方差，l表示ResNet-50模型中的批量归一化层BatchNorm的层序数，L表示ResNet-50模型中的批量归一化层BatchNorm的总层数；
表示目标域模型T在第l个BatchNorm层上的特征，T表示目标域模型，
表示对所包含的内容先求平方再计算平方根，k表示各源域模型中批量归一化层BatchNorm的层序数，K表示各源域模型中批量归一化层BatchNorm的总层数，K+1表示共含K+1个源域模型，第K+1个源域模型是通过所述2.4)获得目标域的软标签，然后在ResNet-50模型基础上利用KL散度方法优化获得的一个额外模型；
然后采用Adam方法进行反向传播优化更新目标域模型的模型参数使得总损失Loss最小。
这样通过多次迭代，减小总损失，训练获得最终的目标域模型。
本发明设置了神经网络KD3A中的新的基于风格对齐的指标函数BatchNorm SMMD，通过拉近目标域和每个源域在BatchNorm中均值和方差距离来缩进目标域和每个源域分布的方式，拉近作用能够使目标域数据和源域数据的特征分布尽量接近，实现了基于源域数据训练的模型，用到目标域数据上时有较好的效果。
所述步骤3中，将两个阶段的结果输入信息融合模块获得综合的青光眼判断结果，具体如下：
若满足Y1≥0.6且Y2≥0.5则为强青光眼；
若满足Y1<0.6且Y2≥0.5或者Y1≥0.6且Y2<0.5则为怀疑青光眼；
若满足Y1<0.6且Y2<0.5则为正常眼；
其中，Y1表示第一阶段的杯盘比结果，Y2表示第二阶段的青光眼分类概率结果。
通常青光眼图像的解读都需要大量有经验的青光眼专家或训练有素的技术员，既费时又费力，很难对其进行筛查和诊断。本发明针对现有的基于分割杯盘的单一诊断信息不足的基础上，公开了一个两阶段的青光眼诊断网络模型，通过眼底图像进行检测是否为青光眼结果。
本发明建立了一个两阶段的青光眼诊断网络模型，第一阶段获得眼底图像分割杯盘比的信息，第二阶段获得青光眼特征挖掘的信息，两阶段的重点部分分别为后置处理模块和BatchNorm SMMD算法；最后通过信息融合模块，对眼底图像进行检测诊断，此方法大大减少了医学诊断周期。
本发明建立的两阶段的青光眼诊断网络模型特色之处有以下方面：
1)综合处理了杯盘比信息和考虑到视网膜神经纤维的改变对青光眼诊断的影响，通过挖掘眼底图像特征来进行观察该图像是否为青光眼；
2)通过后置处理模块获得分割后的视杯视盘的外接矩形的宽高比；
3)提议了一种新的基于风格对齐的指标函数BatchNorm SMMD，拉近目标域和每个源域在BatchNorm中均值和方差的距离。
本发明相比于现有技术而言，具有以下有益效果：
本发明实现了快速高效的从眼底图像检测青光眼的效果，方法大大减少了医生的诊断周期，解决了在基于隐私保护政策的要求下，许多青光眼数据集只能进行本地访问，使现有方法无法对青光眼图像进行较好检测的技术问题。
附图说明
图1为4个源域青光眼的图像数据图；
图2(a)为应用AG-Net分割网络获得的视杯和视盘的分割结果图；
图2(b)为通过后置处理方法，将视杯和视盘的分割结果分成单独的视杯掩膜和视盘掩膜；
图2(c)为计算得到的视杯和视盘掩膜的外接矩形框；
图3为第二阶段青光眼特征挖掘网络的设计图；
图4为整体网络的设计图。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
本发明的实施例如下：
步骤1：建立了一个两阶段的青光眼诊断网络模型，如图4所示，通过两阶段的青光眼诊断网络模型对眼底图像进行处理，第一阶段用于获得杯盘比结果，第二阶段用于获得青光眼分类概率结果；
第一阶段包括依次设置的AG-Net分割网络和后置处理模块，通过AG-Net分割网络将每幅眼底图像分割为三个通道图像，将三个通道图像输入后置处理模块获得纵向杯盘比，具体为：
1.1)将眼底图像输入AG-Net分割网络获得输出图像X，输出图像X作为后置处理模块的输入，在输出图像X中，舍弃背景通道图像，保留视杯通道图像Xcup和视盘通道图像Xdisc；
1.2)提取视杯通道图像Xcup和视盘通道图像Xdisc的连通区域并各自进行大小排序，取面积最大的N个连通区域，去掉面积小的连通区域，对于视杯通道图像Xcup和视盘通道图像Xdisc共计获得2N个连通区域；具体实施中，这里N选择3。
1.3)统计视杯通道图像Xcup和视盘通道图像Xdisc中的连通区域的每个像素的像素值均设置为1，连通区域以外的其它区域的每个像素的像素值均设置0，获得视杯通道二值化图像和视盘通道二值化图像；
1.4)将视杯通道二值化图像和视盘通道二值化图像均依次进行腐蚀、膨胀的操作，以去除连通区域的毛边，得到最终的视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc；
具体是计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc中像素值设置为1的区域求取在图像水平方向和图像竖直方向上的最大值和最小值点，共计四个点，外接矩形的四边分别经过四个点而设置出外接矩形。
1.5)计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc的外接矩形Zcup和Zdisc：
1.6)根据外接矩形计算纵向杯盘比：
vC/D＝Hcup/Hdisc
其中，v表示纵向，Hcup、Hdisc分别表示视杯通道外接矩形Zcup和视盘通道外接矩形Zdisc的高H，vC/D表示视杯外接矩形的高和视盘外接矩形的高之间的比例，作为纵向杯盘比。
如图3所示，第二阶段具体包括ResNet-50模型和批量归一化函数BatchNormSMMD，ResNet-50模型输入的是眼底图像，输出的是青光眼的分类概率值，将眼底图像输入到ResNet-50模型中输出获得青光眼的分类概率值。
步骤2：收集眼底图像数据，并对眼底图像数据进行预处理，用预处理后的眼底图像数据对两阶段的青光眼诊断网络模型中的第二阶段进行训练，获得训练后的两阶段的青光眼诊断网络模型；
2.1)收集的眼底图像数据，收集的眼底图像数据分为一个目标域眼底图像数据集和多个源域眼底图像数据集的两类；
将浙江大学第二附属医院Zer数据集和3个公共数据集LAG、Mic和Odir共4个数据集作为源域眼底图像数据，图像样例见图1。其中Zer数据集共有1865张图像，青光眼图像共有997张，正常眼图像共有868张；LAG数据集共有4854张图像，青光眼图像共有1711张，正常眼图像共有3143张；Mic数据集共有400张图像，青光眼图像共有40张，正常眼图像共有360张；Odir数据集共有3447张图像，青光眼图像共有325张，正常眼图像共有3122张；4个源域数据集共有10566张图像，青光眼图像共有3073张，正常眼图像共有7493张。将北京大学第三医院收集的By数据集作为目标域数据集，共有4388张图像，青光眼图像共有873张，正常眼图像共有3515张。
对数据进行预处理：
操作1、数据集中有一些不同文件夹中存在相同图片的情况，去掉了这些重复样本(上述5个数据集信息为已经去除重复样本后的眼底图像数量)；
操作2、统一图片尺度：先缩放到(256，256)，然后随机剪裁到(224，224)；
操作3、对图片进行水平翻转；
操作4、标准化处理(其中mean＝[0.485，0.456，0.406]，std＝[0.229，0.224，0.225])。
2.2)先用多个源域眼底图像数据分别对本地离线的ResNet-50模型进行本地化训练，获得训练后的各个源域模型；
2.3)然后将目标域眼底图像数据集中的每幅眼底图像输入到训练后的各个源域模型进行预测处理，输出获得各个源域模型各自的青光眼分类概率值及其置信度；
2.4)对所有源域模型各自的青光眼分类概率值进行筛选处理，筛选保留下来的所有青光眼分类概率值求平均值作为该幅眼底图像的软标签；
具体是对所有源域模型各自的青光眼分类概率值进行筛选处理，具体为：对所有源域模型各自的青光眼分类概率值对应的置信度和预设的置信度阈值进行比较进行第一次筛选，去除小于置信度阈值的青光眼分类概率值；然而对第一次筛选后保留的所有青光眼分类概率值进行一致性判断而进行第二次筛选，去除不一致的青光眼分类概率值；将第二次筛选后保留的所有青光眼分类概率值作为保留下来的青光眼分类概率值。
2.5)最后将目标域眼底图像数据集的所有幅眼底图像及其软标签输入到ResNet-50模型中采用批量归一化函数BatchNorm SMMD进行训练优化获得目标域模型。
如图3所示，具体是在训练过程中在目标域模型和各个源域模型之间采用批量归一化函数BatchNorm SMMD进行以下处理：
从每个源域模型中提取获得各层批标准化层BatchNorm存储的均值和方差
从目标域模型中提取获得各层批标准化层BatchNorm存储的均值和方差
其中，
表示l从1到L取值，L是包含BatchNorm层的总数，l是第l个BatchNorm层,所以
表示l从1到L取值。
然后按照以下公式处理计算总损失Loss：
其中，Loss表示总损失，
表示第k个源域模型在第l个BatchNorm层上的特征，μ()表示特征的均值，σ2()表示特征的方差，l表示ResNet-50模型中的批量归一化层BatchNorm的层序数，L表示ResNet-50模型中的批量归一化层BatchNorm的总层数；
表示目标域模型T在第l个BatchNorm层上的特征，T表示目标域模型，
表示对所包含的内容先求平方再计算平方根，k表示各源域模型中批量归一化层BatchNorm的层序数，K表示各源域模型中批量归一化层BatchNorm的总层数，K+1表示共含K+1个源域模型，第K+1个源域模型是通过所述2.4)获得目标域的软标签，然后在ResNet-50模型基础上利用KL散度方法优化获得的一个额外模型。
然后采用Adam方法进行反向传播优化更新目标域模型的模型参数使得总损失Loss最小。具体实施中，直到达到预设的迭代次数，则停止反向传播优化更新。
步骤3：针对待测的眼底图像输入训练后的两阶段的青光眼诊断网络模型获得两阶段的结果，综合两阶段的结果对眼底图像中的青光眼情况进行分类判断。
针对第一阶段：
将步骤2各源域眼底图像数据中随机抽取544张眼底图像，由医生进行视杯和视盘的标注，作为训练用的图像和真实值，输入AG-Net分割网络中训练，保存最后训练好的AG-Net分割网络模型；
待测的眼底图像输入训练好的AG-Net分割网络模型，获得视杯和视盘的分割结果X，如图2(a)所示，通过后置处理方法，分成单独的视杯掩膜和视盘掩膜Ycup和Ydisc，如图2(b)所示，随后获得视杯和视盘的外接矩形Zcup和Zdisc，如图2(c)所示，并计算纵向杯盘比Y1。
针对第二阶段：
将待测的眼底图像输入最终训练后的ResNet-50模型获得第二阶段青光眼特征分类概率结果Y2。
步骤3中，将两个阶段的结果输入信息融合模块获得综合的青光眼判断结果，具体如下：
若满足Y1≥0.6且Y2≥0.5则为强青光眼；
若满足Y1<0.6且Y2≥0.5或者Y1≥0.6且Y2<0.5则为怀疑青光眼；
若满足Y1<0.6且Y2<0.5则为正常眼；
其中，Y1表示第一阶段的杯盘比结果，Y2表示第二阶段的青光眼分类概率结果。
由此将眼底图像判断分为三类结果：强青光眼、怀疑青光眼和正常眼。
由此，本发明针对现有基于分割杯盘的单一诊断信息不足的基础上和数据出于隐私保护的目的，提出了一种联合杯盘比和青光眼特征挖掘的二阶段网络架构。尤其在青光眼特征挖掘阶段，出于隐私保护的目的，提议了一种无源领域自适应网络，该网络中提议了一种新的对齐源域和目标域分布风格的方法名为BatchNorm SMMD，用于解决在隐私保护政策的要求下，现有方法对青光眼图像检测准确率较低的技术问题。
Claims (8)
1.一种基于联邦学习的青光眼图像检测方法，其特征在于：方法包括以下步骤：
步骤1：建立了一个两阶段的青光眼诊断网络模型，通过两阶段的青光眼诊断网络模型对眼底图像进行处理，第一阶段用于获得杯盘比结果，第二阶段用于获得青光眼分类概率结果；
步骤2：收集眼底图像数据，并对眼底图像数据进行预处理，用预处理后的眼底图像数据对两阶段的青光眼诊断网络模型中的第二阶段进行训练，获得训练后的两阶段的青光眼诊断网络模型；
步骤3：针对待测的眼底图像输入训练后的两阶段的青光眼诊断网络模型获得两阶段的结果，综合两阶段的结果对眼底图像中的青光眼情况进行分类判断。
2.根据权利要求1所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：
所述步骤1中的第一阶段包括依次设置的AG-Net分割网络和后置处理模块，通过AG-Net分割网络将每幅眼底图像分割为三个通道图像，将三个通道图像输入后置处理模块获得纵向杯盘比，具体为：
1.1)将眼底图像输入AG-Net分割网络获得输出图像X，在输出图像X中，舍弃背景通道图像，保留视杯通道图像Xcup和视盘通道图像Xdisc；
1.2)提取视杯通道图像Xcup和视盘通道图像Xdisc的连通区域并各自进行大小排序，取面积最大的N个连通区域，对于视杯通道图像Xcup和视盘通道图像Xdisc共计获得2N个连通区域；
1.3)统计视杯通道图像Xcup和视盘通道图像Xdisc中的连通区域的每个像素的像素值均设置为1，连通区域以外的其它区域的每个像素的像素值均设置0，获得视杯通道二值化图像和视盘通道二值化图像；
1.4)将视杯通道二值化图像和视盘通道二值化图像均依次进行腐蚀、膨胀的操作，得到最终的视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc；
1.5)计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc的外接矩形Zcup和Zdisc：
1.6)根据外接矩形计算纵向杯盘比：
vC/D＝Hcup/Hdisc
其中，v表示纵向，Hcup、Hdisc分别表示视杯通道外接矩形Zcup和视盘通道外接矩形Zdisc的高H，vC/D表示视杯外接矩形的高和视盘外接矩形的高之间的比例，作为纵向杯盘比。
3.根据权利要求2所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述步骤1.4)中，是计算视杯通道后处理图像Ycup和视盘通道后处理图像Ydisc中像素值设置为1的区域求取在图像水平方向和图像竖直方向上的最大值和最小值点，共计四个点，外接矩形的四边分别经过所述四个点而设置出外接矩形。
4.根据权利要求1所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述步骤1中的第二阶段具体包括ResNet-50模型，所述的ResNet-50模型输入的是眼底图像，输出的是青光眼的分类概率值，将眼底图像输入到ResNet-50模型中输出获得青光眼的分类概率值。
5.根据权利要求1所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述步骤2，具体为：
2.1)收集的眼底图像数据，收集的眼底图像数据分为一个目标域眼底图像数据集和多个源域眼底图像数据集的两类；
2.2)先用多个源域眼底图像数据分别对本地离线的ResNet-50模型进行本地化训练，获得训练后的各个源域模型；
2.3)然后将目标域眼底图像数据集中的每幅眼底图像输入到训练后的各个源域模型进行预测处理，输出获得各个源域模型各自的青光眼分类概率值；
2.4)对所有源域模型各自的青光眼分类概率值进行筛选处理，筛选保留下来的所有青光眼分类概率值求平均值作为该幅眼底图像的软标签；
2.5)最后将目标域眼底图像数据集的所有幅眼底图像及其软标签输入到ResNet-50模型中采用批量归一化函数BatchNorm SMMD进行训练优化获得目标域模型。
6.根据权利要求5所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述2.4)中，对所有源域模型各自的青光眼分类概率值进行筛选处理，具体为：对所有源域模型各自的青光眼分类概率值对应的置信度和预设的置信度阈值进行比较进行第一次筛选，去除小于置信度阈值的青光眼分类概率值；然而对第一次筛选后保留的所有青光眼分类概率值进行一致性判断而进行第二次筛选，去除不一致的青光眼分类概率值。
7.根据权利要求5所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述2.5)中，在训练过程中在目标域模型和各个源域模型之间采用批量归一化函数BatchNormSMMD进行以下处理：
从每个源域模型中提取获得各层批量归一化层BatchNorm存储的均值和方差
从目标域模型中提取获得各层批量归一化层BatchNorm存储的均值和方差
其中，
表示l从1到L取值，L是包含BatchNorm层的总数，l是第l个BatchNorm层,所以
表示l从1到L取值；
然后按照以下公式处理计算总损失Loss：
其中，Loss表示总损失，
表示第k个源域模型在第l个BatchNorm层上的特征，μ( )表示特征的均值，σ2( )表示特征的方差，l表示ResNet-50模型中的批量归一化层BatchNorm的层序数，L表示ResNet-50模型中的批量归一化层BatchNorm的总层数；
表示目标域模型T在第l个BatchNorm层上的特征，T表示目标域模型，
表示对所包含的内容先求平方再计算平方根，k表示各源域模型中批量归一化层BatchNorm的层序数，K表示各源域模型中批量归一化层BatchNorm的总层数，K+1表示共含K+1个源域模型；
然后采用Adam方法进行反向传播优化更新目标域模型的模型参数使得总损失Loss最小。
8.根据权利要求1所述的一种基于联邦学习的青光眼图像检测方法，其特征在于：所述步骤3中，将两个阶段的结果输入信息融合模块获得综合的青光眼判断结果，具体如下：
若满足Y1≥0.6且Y2≥0.5则为强青光眼；
若满足Y1<0.6且Y2≥0.5或者Y1≥0.6且Y2<0.5则为怀疑青光眼；
若满足Y1<0.6且Y2<0.5则为正常眼；
其中，Y1表示第一阶段的杯盘比结果，Y2表示第二阶段的青光眼分类概率结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210892726.5A CN115100187B (zh) | 2022-07-27 | 2022-07-27 | 一种基于联邦学习的青光眼图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210892726.5A CN115100187B (zh) | 2022-07-27 | 2022-07-27 | 一种基于联邦学习的青光眼图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115100187A true CN115100187A (zh) | 2022-09-23 |
| CN115100187B CN115100187B (zh) | 2024-06-11 |
Family
ID=83299380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210892726.5A Active CN115100187B (zh) | 2022-07-27 | 2022-07-27 | 一种基于联邦学习的青光眼图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100187B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665447A (zh) * | 2018-04-20 | 2018-10-16 | 浙江大学 | 一种基于眼底照相深度学习的青光眼图像检测方法 |
| CN111753820A (zh) * | 2019-03-27 | 2020-10-09 | 天津工业大学 | 一种基于深度学习的彩色眼底图像视杯分割方法 |
| CN112288720A (zh) * | 2020-10-29 | 2021-01-29 | 苏州体素信息科技有限公司 | 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统 |
| WO2021053656A1 (en) * | 2019-09-19 | 2021-03-25 | Artificial Learning Systems India Pvt Ltd | System and method for deep network-based glaucoma prediction |
| CN113256638A (zh) * | 2021-05-11 | 2021-08-13 | 北京航空航天大学 | 基于卷积神经网络模型的眼球角膜神经分割方法及装置 |
| US20220047159A1 (en) * | 2018-12-19 | 2022-02-17 | Shanghai Eaglevision Medical Technology Co., Ltd. | Glaucoma image recognition method and device and diagnosis system |
| WO2022125175A1 (en) * | 2020-12-07 | 2022-06-16 | F. Hoffmann-La Roche Ag | Techniques for generating predictive outcomes relating to oncological lines of therapy using artificial intelligence |
-
2022
- 2022-07-27 CN CN202210892726.5A patent/CN115100187B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665447A (zh) * | 2018-04-20 | 2018-10-16 | 浙江大学 | 一种基于眼底照相深度学习的青光眼图像检测方法 |
| US20220047159A1 (en) * | 2018-12-19 | 2022-02-17 | Shanghai Eaglevision Medical Technology Co., Ltd. | Glaucoma image recognition method and device and diagnosis system |
| CN111753820A (zh) * | 2019-03-27 | 2020-10-09 | 天津工业大学 | 一种基于深度学习的彩色眼底图像视杯分割方法 |
| WO2021053656A1 (en) * | 2019-09-19 | 2021-03-25 | Artificial Learning Systems India Pvt Ltd | System and method for deep network-based glaucoma prediction |
| CN112288720A (zh) * | 2020-10-29 | 2021-01-29 | 苏州体素信息科技有限公司 | 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统 |
| WO2022125175A1 (en) * | 2020-12-07 | 2022-06-16 | F. Hoffmann-La Roche Ag | Techniques for generating predictive outcomes relating to oncological lines of therapy using artificial intelligence |
| CN113256638A (zh) * | 2021-05-11 | 2021-08-13 | 北京航空航天大学 | 基于卷积神经网络模型的眼球角膜神经分割方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| AOGUANG GU等: "Federated Ophthalmic Disease Diagnosis Based on Weighted Averaging and Local Optimization", 《2023 CHINA AUTOMATION CONGRESS (CAC)》, 19 March 2024 (2024-03-19) * |
| MIAO ZHANG等: "SplitAVG: A Heterogeneity-Aware Federated Deep Learning Method for Medical Imaging", 《 IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, 22 June 2022 (2022-06-22) * |
| 刘少鹏;洪佳明;梁杰鹏;贾西平;欧阳佳;印鉴;: "面向医学图像分割的半监督条件生成对抗网络", 软件学报, no. 08, 15 August 2020 (2020-08-15) * |
| 王琳艳: "眼睑肿瘤病理特征分析及基于新型人工智能算法的诊断应用研究", 《中国博士学位论文全文数据库 医药卫生科技辑》, 15 January 2021 (2021-01-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115100187B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| KR102537470B1 (ko) | 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN110033448B (zh) | 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法 | |
| CN113538422B (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| Syed et al. | Detection of tumor in MRI images using artificial neural networks | |
| CN113241154A (zh) | 一种人工智能血液涂片细胞标注系统及方法 | |
| CN112634221A (zh) | 基于图像和深度的角膜层次识别及病变定位方法和系统 | |
| CN115100187A (zh) | 一种基于联邦学习的青光眼图像检测方法 | |
| CN115132275B (zh) | 基于端到端三维卷积神经网络预测egfr基因突变状态方法 | |
| Desiani et al. | A robust techniques of enhancement and segmentation blood vessels in retinal image using deep learning | |
| Lekshmi et al. | Detection of glaucoma and diabetic retinopathy using image processing technique by Raspberry pi | |
| Hsu et al. | A comprehensive study of age-related macular degeneration detection | |
| Singhal et al. | Detection of Diabetic Retinopathy using Machine Learning | |
| CN116758068B (zh) | 一种基于人工智能的骨髓图片细胞形态分析方法 | |
| Geethalakshmi et al. | Mathematical morphology and optimum principal curvature based segmentation of blood vessels in human retinal fundus images | |
| Peng et al. | Residual Module and Multi-scale Feature Attention Module for Exudate Segmentation | |
| CN116705289B (zh) | 基于语义分割网络的宫颈病理诊断装置 | |
| Devaraj et al. | Early Detection Glaucoma and Stargardt's Disease Using Deep Learning Techniques. | |
| CN116883397B (zh) | 一种应用于解剖病理学的自动精益方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |