CN109919938B - 青光眼的视盘分割图谱获取方法 - Google Patents

Abstract

本发明公开了一种青光眼的视盘分割图谱获取方法，包括获取已知彩色眼底图像和眼底图数据集并分类；构造视盘初步分割深度学习网络，利用分类数据对网络进行训练、测试和修正，得到视盘分割模型；对测试数据集和训练数据集进行分割并截图；处理截图；构建可解释的青光眼初步辅助网络；利用截图对解释的青光眼初步辅助网络进行训练和修正得到可解释的青光眼辅助网络；利用视盘分割模型对待分析的彩色眼底图像数据分割并得到视盘截图；利用可解释的青光眼辅助网络处理视盘截图得到灰度热力图；对灰度热力图进行处理得到最终的视盘分割图谱。本发明方法能够快速的为医生提供辅助诊断的视盘分割图谱，而且方法可靠性高，效果较好。

Description

青光眼的视盘分割图谱获取方法

技术领域

本发明具体涉及一种青光眼的视盘分割图谱获取方法。

背景技术

随着社会和经济技术的发展，人们对于健康的重视程度也越来越高。而随着智能电子设备(如智能手机、平板电脑等)的普及和大屏幕智能电子设备的广受欢迎，智能电子设备逐步占据了人们大部分的娱乐休闲时间。

而随着智能电子设备，特别是大屏幕智能电子设备的普及，青光眼的发病有逐年增加的趋势。青光眼是全球第二大致盲性眼科疾病。它导致的致盲症状是难以察觉的，其症状一般是从外往内的失明，当病人有所察觉的时候已经是晚期。目前青光眼无法被治愈，只能通过早期发现和干预来缓解失明的进程。因此对社会有着难以估量的危害。

目前在临床实践中，医生常规的青光眼检测方法是眼内压检测、视野检测、眼底图像分析诊断等方法。但是，受医生主观因素比如经验和视觉差异的影响，不同的医生有不同的诊断结果；另一方面，因为青光眼的特殊性，它需要广泛的筛查和长期的跟踪，这使医生的工作量远超负荷。

因此，随着人工智能技术的提高，人们逐步开始采用人工智能技术进行辅助筛查。目前常用的方法是，通过不同的设计和训练模式在多层神经网络上对大样本数据进行训练，最终完成对青光眼的辅助筛查。这类方法拥有最优的辅助诊断能力和泛化能力，并能在较短的时间内完成端到端的训练和部署，其良好的泛化能力使它适合在不同数据库和场景下使用，适合广泛的筛查和长期的跟踪，大大降低了医生的工作量。

但是，目前的辅助筛查方法并未被广泛使用，其原因在于：目前的方法只能给出辅助筛查的结果，而且模型一旦出错或者模型建立时的性能不佳，则使得模型的可靠性不高；而且目前的方法虽然能够给出相应的辅助筛查结果，但是并不能给出相应的辅助诊断依据和可解释性信息，使得目前的方法的可信任度不高。

发明内容

本发明的目的在于提供一种能够提供青光眼的视盘分割图谱，而且可靠性高、效果较好的青光眼的视盘分割图谱获取方法。

本发明提供的这种青光眼的视盘分割图谱获取方法，包括如下步骤：

S1.获取已知的彩色眼底图像和对应的眼底图数据集，并将彩色眼底图像中青光眼的眼底图像所对应的眼底图数据集分为测试数据集和训练数据集；

S2.构造视盘初步分割深度学习网络，利用步骤S1得到的训练数据集对视盘初步分割深度学习网络进行训练，并利用步骤S1得到的测试数据集对训练后的视盘初步分割深度学习网络进行测试和修正，从而得到视盘分割模型；

S3.利用步骤S2得到的视盘分割模型，对步骤S1获取的测试数据集和训练数据集进行分割，并将分割得到的图谱进行截取从而得到截图；

S4.对步骤S3得到的截图的原始图像进行处理，使得截图的图像的分辨率统一；

S5.构建可解释的青光眼初步辅助网络；

S6.利用步骤S3得到的截图对步骤S5构建的青光眼辅助网络进行训练和修正，从而得到可解释的青光眼辅助网络；

S7.针对待分析的彩色眼底图像数据，利用步骤S2得到的视盘分割模型进行分割并得到视盘截图；

S8.对于步骤S7得到的视盘截图，利用步骤S6得到的可解释的青光眼辅助网络进行处理，得到青光眼诊断证据的灰度热力图；

S9.对步骤S8得到的灰度热力图进行处理，从而得到最终的视盘分割图谱。

所述的青光眼的视盘分割图谱获取方法，还包括如下步骤：

S0.对已知的彩色眼底图像进行图像处理，从而使得彩色眼底图像的分辨率统一。

所述的对已知的彩色眼底图像进行图像处理，具体为采用双立方插值算法对彩色眼底图像进行图像处理。

所述的采用双立方插值算法对彩色眼底图像进行图像处理，具体为采用如下算式进行处理：

式中

为处理后的像素点坐标，f(i,j)为原始的像素点坐标，m和n为平移量，R(x)为插值表达式。

步骤S2所述的视盘初步分割深度学习网络，具体包括编码器和解码器；视盘初步分割深度学习网络的输入为彩色眼底图像和对应的眼底图数据，视盘初步分割深度学习网络的输出为二值分割图谱。

步骤S3所述的将分割得到的图谱进行截取从而得到截图，具体为将分割得到的图谱进行截取，从而得到以视盘的质心为中心、边长为视盘直径若干倍的截图。

所述的质心，具体为采用如下算式计算质心的坐标(x_c,y_c)：

式中，f(x,y)为分割得到图谱。

所述的视盘直径，具体为采用如下算式计算视盘直径r：

式中f(x,y)为分割得到图谱。

步骤S5所述的可解释的青光眼初步辅助网络，具体为如下所述的可解释的青光眼初步辅助网络：

可解释的青光眼初步辅助网络包括CNN骨干网络、多层平均池化模块和证据激活映射模块；CNN骨干网络用于分层特征提取和聚合，多层平均池化模块用于融合语义信息和定位信息；证据激活映射模块用于证据识别；

CNN骨干网络为一个具有若干个卷积层和池化层的特征表达表示网络；网络的基本模块为ResBlock；同时在每一层池化层的前面具有dropout和BN层，用于减少过拟合；每一个基本模块ResBlock均为一个卷积层；

多层平均池化模块采用如下步骤进行计算并得到全局平均池化的结果：

A.获取CNN骨干网络的池化层输出的多通道二维特征图谱；

B.将步骤A获取的图谱的大小进行调整，从而保证图谱的大小一致；

C.将步骤B得到的图谱按照顺序串联；

D.按照如下公式对步骤C串联的图谱进行全局平均池化，从而得到全局平均池化的结果F_ki：

式中f_ki(x,y)为第i层的第k个通道的特征图谱在点(x,y)处的值；

证据激活映射模块采用如下步骤进行弱监督证据的识别：

a.使用眼底图和对应青光眼诊断结果训练网络，使用softmax进行优化：对于类别c，

为softmax的输出，

为网络学习到的权值；

b.获取步骤C得到的串联图谱；

c.采用如下算式计算得到弱监督证据：

式中

为网络学习到的权值，g_ki(x,y)为步骤b得到的串联图谱在点(x,y)处的值。

步骤S9所述的对步骤S8得到的灰度热力图进行处理，具体为采用灰度开运算和椭圆拟合对步骤S8得到的灰度热力图进行处理。

所述的灰度开运算，具体为采用如下算式进行计算：

式中，f(x,y)为原始图像且规定在定义域外为无穷大，b(x',y')为结构元素且满足当(x',y')∈D_b时b(x',y')＝0，D_b为一个半径为r的圆形，r为整数。

本发明提供的这种青光眼的视盘分割图谱获取方法，通过将彩色眼底图进行关注区域的提取，通过可解释的青光眼辅助网络对待分析的彩色眼底图像和对应的眼底图数据进行分析，从而给出待分析患者的视盘分割图谱；因此，本发明方法能够为医生提供了待分析患者的视盘分割图谱，医生可以根据本发明方法提供的待分析患者的视盘分割图谱进行进一步的诊断；本发明方法能够快速的为医生提供辅助诊断的视盘分割图谱，而且本发明方法可靠性高，效果较好。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法的实施例的视盘初步分割深度学习网络的结构示意图。

图3为本发明方法的实施例的原始彩色眼底示意图。

图4为本发明方法的实施例的初步分割结果示意图。

图5为本发明方法的实施例的截图示意图。

图6为本发明方法的实施例的可解释的青光眼辅助网络的结构示意图。

图7为本发明方法的实施例的ResBolck的结构示意图。

图8为本发明方法的实施例的得到灰度热力图的过程示意图。

图9为本发明方法的实施例的灰度热力图的示意图。

图10为本发明方法的实施例的灰度开运算和椭圆拟合的示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图：本发明提供的这种青光眼的视盘分割图谱获取方法，包括如下步骤：

S0.对已知的彩色眼底图像进行图像处理，从而使得彩色眼底图像的分辨率统一；

在具体实施时，采用双立方插值算法对彩色眼底图像进行图像处理：

式中

为处理后的像素点坐标，f(i,j)为原始的像素点坐标，m和n为平移量，R(x)为插值表达式；

S1.获取已知的彩色眼底图像和对应的眼底图数据集，并将彩色眼底图像中青光眼的眼底图像所对应的眼底图数据集分为测试数据集和训练数据集；

S2.构造视盘初步分割深度学习网络，利用步骤S1得到的训练数据集对视盘初步分割深度学习网络进行训练，并利用步骤S1得到的测试数据集对训练后的视盘初步分割深度学习网络进行测试和修正，从而得到视盘分割模型；

所述的视盘初步分割深度学习网络，具体包括编码器和解码器；视盘初步分割深度学习网络的输入为彩色眼底图像和对应的眼底图数据，视盘初步分割深度学习网络的输出为二值分割图谱；

S3.利用步骤S2得到的视盘分割模型，对步骤S1获取的测试数据集和训练数据集进行分割，并将分割得到的图谱进行截取从而得到截图；具体为将分割得到的图谱进行截取，从而得到以视盘的质心为中心、边长为视盘直径若干倍的截图；

在具体实施时，采用如下算式计算质心的坐标(x_c,y_c)：

式中，f(x,y)为分割得到图谱；

同时，采用如下算式计算视盘直径r：

式中f(x,y)为分割得到图谱；

S4.对步骤S3得到的截图的原始图像进行处理，使得截图的图像的分辨率统一；

同样的，采用如步骤S0所述的技术和步骤，对截图进行图像处理，从而使得截图的分辨率统一，

S5.构建可解释的青光眼初步辅助网络；具体为如下所述的可解释的青光眼初步辅助网络：

可解释的青光眼初步辅助网络包括CNN骨干网络、多层平均池化模块和证据激活映射模块；CNN骨干网络用于分层特征提取和聚合，多层平均池化模块用于融合语义信息和定位信息；证据激活映射模块用于证据识别；

CNN骨干网络为一个具有若干个卷积层和池化层的特征表达表示网络；网络的基本模块为ResBlock；同时在每一层池化层的前面具有dropout和BN层，用于减少过拟合；每一个基本模块ResBlock均为一个卷积层；

多层平均池化模块采用如下步骤进行计算并得到全局平均池化的结果：

A.获取CNN骨干网络的池化层输出的多通道二维特征图谱；

B.将步骤A获取的图谱的大小进行调整，从而保证图谱的大小一致；

C.将步骤B得到的图谱按照顺序串联；

D.按照如下公式对步骤C串联的图谱进行全局平均池化，从而得到全局平均池化的结果F_ki：

式中f_ki(x,y)为第i层的第k个通道的特征图谱在点(x,y)处的值；

证据激活映射模块采用如下步骤进行弱监督证据的识别：

a.使用眼底图和对应青光眼诊断结果训练网络，使用softmax进行优化：对于类别c，

为softmax的输出，

为网络学习到的权值；

b.获取步骤C得到的串联图谱；

c.采用如下算式计算得到弱监督证据：

式中

为网络学习到的权值，g_ki(x,y)为步骤b得到的串联图谱在点(x,y)处的值；

S6.利用步骤S3得到的截图对步骤S5构建的青光眼辅助网络进行训练和修正，从而得到可解释的青光眼辅助网络；

S7.针对待分析的彩色眼底图像数据，利用步骤S2得到的视盘分割模型进行分割并得到视盘截图；

S8.对于步骤S7得到的视盘截图，利用步骤S6得到的可解释的青光眼辅助网络进行处理，得到青光眼诊断证据的灰度热力图；

S9.对步骤S8得到的灰度热力图进行处理，从而得到最终的视盘分割图谱；具体为采用灰度开运算和椭圆拟合对步骤S8得到的灰度热力图进行处理；

在具体实施时，灰度开运算为采用如下算式进行计算：

式中，f(x,y)为原始图像且规定在定义域外为无穷大，b(x',y')为结构元素且满足当(x',y')∈D_b时b(x',y')＝0，D_b为一个半径为r的圆形，r为整数。

以下结合一个具体实施例对本发明方法进行进一步说明：

设置了650个样本，每个样本都是1340×1340分辨率的RGB彩色眼底图像，每个样本都有同样分辨率的视盘和视杯的二值分割标签(如图3所示)；

构建网络结构，如图2所示，网络分为解码器和编码器部分；对网络输入1340×1340分辨率的RGB图像，输出一张1340×1340分辨率的黑白图像；利用训练样本进行训练，对网络参数权重进行调整，得到训练网络后的视盘的分割网络模型。使用模型对样本进行处理；

图2中的空洞卷积网络是三层空洞卷积网络，包括对空洞卷积网络输出结果的多种卷积操作，分别是1×1卷积，rate为6、12,、18的3×3卷积和最大池化操作。网络将使用ImageNet预训练的参数作为一种优选方案；

模型对图3的测试结果如图4所示。

对初步分割的图像进行求质心和求连通域直径的操作，并以质心为中心，以连通域直径的两倍对眼底图和标签进行截图，同时将尺寸归一化到224×224的分辨率。

同时，在分辨率的统一化时，使用的是双立方插值算法，而且插值表达式的一种优选算式为：

对图3进行实验的结果如图5所示。

构建网络结构，如图6所示，网络分为强监督青光眼诊断器和弱监督证据提取器两个部分；对网络输入224×224分辨率的RGB图像，输出一张224×224分辨率的黑白图像；利用训练样本进行训练，对网络参数权重进行调整，得到训练网络后的可解释的青光眼诊断网络模型。使用模型对样本进行处理。

对图5的测试示意图如图8所示。

对得到的结果开运算和椭圆拟合的结果如图10所示。

本发明提供的这种青光眼的视盘分割图谱获取方法，并不对青光眼进行诊断，而是仅仅通过本发明提供的技术方案，给医务工作者提供最终的视盘分割图谱，医务工作者可以根据本发明提供的视盘分割图谱进行进一步的诊断，因此本发明方法并不做诊断，而只是给医务工作者提供一种可解释、具有临床辅助作用的视盘分割图谱，医务工作者可以根据自己的临床经验，结合本发明提供的视盘分割图谱进行进一步的诊断。

Claims (10)

1.一种青光眼的视盘分割图谱获取方法，包括如下步骤：

S1.获取已知的彩色眼底图像和对应的眼底图数据集，并将彩色眼底图像中青光眼的眼底图像所对应的眼底图数据集分为测试数据集和训练数据集；

S2.构造视盘初步分割深度学习网络，利用步骤S1得到的训练数据集对视盘初步分割深度学习网络进行训练，并利用步骤S1得到的测试数据集对训练后的视盘初步分割深度学习网络进行测试和修正，从而得到视盘分割模型；

S3.利用步骤S2得到的视盘分割模型，对步骤S1获取的测试数据集和训练数据集进行分割，并将分割得到的图谱进行截取从而得到截图；

S4.对步骤S3得到的截图的原始图像进行处理，使得截图的图像的分辨率统一；

S5.构建可解释的青光眼初步辅助网络；

S6.利用步骤S3得到的截图对步骤S5构建的青光眼辅助网络进行训练和修正，从而得到可解释的青光眼辅助网络；

S7.针对待分析的彩色眼底图像数据，利用步骤S2得到的视盘分割模型进行分割并得到视盘截图；

S8.对于步骤S7得到的视盘截图，利用步骤S6得到的可解释的青光眼辅助网络进行处理，得到青光眼诊断证据的灰度热力图；

S9.对步骤S8得到的灰度热力图进行处理，从而得到最终的视盘分割图谱。

2.根据权利要求1所述的青光眼的视盘分割图谱获取方法，其特征在于还包括如下步骤：

S0.对已知的彩色眼底图像进行图像处理，从而使得彩色眼底图像的分辨率统一。

3.根据权利要求2所述的青光眼的视盘分割图谱获取方法，其特征在于所述的对已知的彩色眼底图像进行图像处理，具体为采用双立方插值算法对彩色眼底图像进行图像处理。

4.根据权利要求3所述的青光眼的视盘分割图谱获取方法，其特征在于所述的采用双立方插值算法对彩色眼底图像进行图像处理，具体为采用如下算式进行处理：

式中

为处理后的像素点坐标，f(i,j)为原始的像素点坐标，m和n为平移量，R(x)为插值表达式。

5.根据权利要求1所述的青光眼的视盘分割图谱获取方法，其特征在于步骤S2所述的视盘初步分割深度学习网络，具体包括编码器和解码器；视盘初步分割深度学习网络的输入为彩色眼底图像和对应的眼底图数据，视盘初步分割深度学习网络的输出为二值分割图谱。

6.根据权利要求5所述的青光眼的视盘分割图谱获取方法，其特征在于步骤S3所述的将分割得到的图谱进行截取从而得到截图，具体为将分割得到的图谱进行截取，从而得到以视盘的质心为中心、边长为视盘直径若干倍的截图。

7.根据权利要求6所述的青光眼的视盘分割图谱获取方法，其特征在于所述的质心，具体为采用如下算式计算质心的坐标(x_c,y_c)：

式中，f(x,y)为分割得到图谱；

所述的视盘直径，具体为采用如下算式计算视盘直径r：

式中f(x,y)为分割得到图谱。

8.根据权利要求1～7之一所述的青光眼的视盘分割图谱获取方法，其特征在于步骤S5所述的可解释的青光眼初步辅助网络，具体为如下所述的可解释的青光眼初步辅助网络：

可解释的青光眼初步辅助网络包括CNN骨干网络、多层平均池化模块和证据激活映射模块；CNN骨干网络用于分层特征提取和聚合，多层平均池化模块用于融合语义信息和定位信息；证据激活映射模块用于证据识别；

CNN骨干网络为一个具有若干个卷积层和池化层的特征表达表示网络；网络的基本模块为ResBlock；同时在每一层池化层的前面具有dropout和BN层，用于减少过拟合；每一个基本模块ResBlock均为一个卷积层；

多层平均池化模块采用如下步骤进行计算并得到全局平均池化的结果：

A.获取CNN骨干网络的池化层输出的多通道二维特征图谱；

B.将步骤A获取的图谱的大小进行调整，从而保证图谱的大小一致；

C.将步骤B得到的图谱按照顺序串联；

D.按照如下公式对步骤C串联的图谱进行全局平均池化，从而得到全局平均池化的结果F_ki：

式中f_ki(x,y)为第i层的第k个通道的特征图谱在点(x,y)处的值；

证据激活映射模块采用如下步骤进行弱监督证据的识别：

a.使用眼底图和对应青光眼诊断结果训练网络，使用softmax进行优化：对于类别c，

为softmax的输出，

为网络学习到的权值；

b.获取步骤C得到的串联图谱；

c.采用如下算式计算得到弱监督证据：

式中

为网络学习到的权值，g_ki(x,y)为步骤b得到的串联图谱在点(x,y)处的值。

9.根据权利要求8所述的青光眼的视盘分割图谱获取方法，其特征在于步骤S9所述的对步骤S8得到的灰度热力图进行处理，具体为采用灰度开运算和椭圆拟合对步骤S8得到的灰度热力图进行处理。

10.根据权利要求9所述的青光眼的视盘分割图谱获取方法，其特征在于所述的灰度开运算，具体为采用如下算式进行计算：

式中，f(x,y)为原始图像且规定在定义域外为无穷大，b(x',y')为结构元素且满足当(x',y')∈D_b时b(x',y')＝0，D_b为一个半径为r的圆形，r为整数。

Images