CN109493954B - 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 - Google Patents

Abstract

本发明公开了一种基于类别判别定位的SD‑OCT图像视网膜病变检测系统，包括数据预处理模块、神经网络预测模块、热力图计算模块、病变区域定位模块以及精确检测模块，首先获取数据集并进行增强处理，然后通过全局卷积神经网络进行分类，根据预测结果，获取类别映射特征热力图，最后通过获取较大激活值区域，生掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，从而实现对图像当中眼底病变区域进行定位。本发明能够有效提高检测识别的精度，并且在对眼底视网膜图像进行分类识别的同时，能够根据类别判别信息定位到相应的眼底病变所在的位置区域，对于后续的眼底诊断分析和治疗具有重要的指导意义。

Description

一种基于类别判别定位的SD-OCT图像视网膜病变检测系统

技术领域

本发明涉及医疗技术领域，具体涉及一种基于类别判别定位的频域光学相干断层扫描图像视网膜病变检测系统。

背景技术

视网膜位于眼球壁的内层，是一层透明的薄膜，由色素上皮层和视网膜感觉层组成，是眼睛当中极其重要的结构，同时视网膜十分脆弱，许多眼部疾病都发生在视网膜内部。由于人们在工作生活，饮食习惯以及随着人口老龄化的增长，眼底疾病的患者逐年递增，许多患者由于早期没有得到及时筛查和有效的治疗，导致病情加重，甚至导致失明。近年来随着频域光学相干断层扫描成像技术(Special-Domain Optical CoherenceTomography，SD-OCT)发展成熟，利用光的低相干特性，通过扫描活体组织不同深度对入射光的背向反射或散射信号的强度，得到活体组织的内部微观结构成高分辨率断层图像，能够有效第呈现出视网膜组织层次结构信息，使得SD-OCT扫描成像被广泛应用于眼科疾病诊断如年龄性相关黄斑病变、糖尿病性视网膜病变、黄斑水肿、黄斑裂孔和青光眼的常规检查和诊断和治疗当中。通过计算机视觉辅助视网膜疾病的早期筛查和视网膜病变的检测识别定位，对于治疗和延缓视网膜病变患者视力的减退起到很关键的作用。

目前对视网膜病变的检测方法主要有以下两个方面：

(1)通过提取SD-OCT眼底视网膜图像中的灰度、纹理、边缘梯度、等特征信息并训练特征分类器来对提取到的特征信息进行分类，得到对应的眼底病变检测结构。由于眼底视网膜结构相对复杂，人工设定的特征提取方法往往只能针对一些较为明显的病变特征进行识别，对于SD-OCT所大量的样本中的含有的不明显病变图像检测的精度不高。

(2)近年来提出深度学习的方法来对SD-OCT眼底视网膜图像进行特征提取和分类，由于深度学习方法是通过训练卷积神经网络来学习大量的带标注的眼底视网膜图像，并从中提取出有用的特征进行分类，相比于传统的特征提取方法具有更好的检测精度，但采用深度学习的方法的缺点是对数据标注质量要求比较高，并且只能给出预测结果，不能给出产生该建议的原因，可解析性不强，对于需要了解系统推理的临床医生和患者而言，这是个的问题。

由于SD-OCT扫描生成的图片数据量巨大，并且眼底视网膜层结构复杂，现有的识别算法针对部分不常见的病症的识别率和检测的精度不高，并且识别分类的结果输出往往不具有可解析性，无法根据预测的结果确定眼底病变的位置。虽然通过医生手工对眼底病变区域进行像素级的语义标注或者检测框的标注的方法，能够提升算法对眼底病变区域的识别和检测精度，但需要对大量的样本进行像素级别的精细标注，往往会带来巨大的标注成本问题，并且标注的精度会对识别算法的准确度产生较大的影响。

发明内容

本发明针对目前的算法对大量的SD-OCT图像当中视网膜病变检测精度不高，检测结果解析性不高，以及定位识别标注成本高的问题，提出了一种基于类别判别定位模型的频域光学相干断层扫描图像视网膜病变检测系统，解决对大量眼底检测识别和对病变位置进定位检测的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于类别判别定位的SD-OCT图像视网膜病变检测系统，包括：

数据预处理模块，用于获取SD-OCT视网膜图像，并对每张图像进行病变类别标记，标记后的图像构成一个用于视网膜病变分类的原始数据集；通过数据增强的手段，对原始数据集中的图像进行预处理；

神经网络预测模块，用于通过所述的进行预处理后的图像训练全局卷积神经网络，并根据全局卷积神经网络最后一层输出的特征图的特征进行分类，得到全局的类别预测的结果；

热力图计算模块，用于根据所述预测的结果获取输出的特征向量，对全局卷积神经网络最后一层输出的所有特征图的求取梯度，通过与对应的特征图做乘积获取梯度加权激活映射图，并对其进行求和以及非线性激活操作得到类别映射特征热力图；

病变区域定位模块，用于根据所述类别映射特征热力图，设置阈值以获取具有较大激活值的区域，进而生成二进制掩模，根据掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，从而实现对图像当中眼底病变区域进行定位。

进一步地，所述的基于类别判别定位的SD-OCT图像视网膜病变检测系统，还包括：

精确检测模块，用于将眼底病变区域进行定位的结果从图像中裁剪出来，输入到一个局部卷积神经网络进行二次预测，将预测的分类结果与全局的类别预测的结果进行融合，最终得到更加准确的眼底病变类型检测结果。

进一步地，所述的全局卷积神经网络的最后一层输出的特征图与全局平均池化层相连，通过对每个特征图的值相加后求平均，得到最后一层的输出的每一个特征图对应的特征值，再将这些特征值输入到一个全链接层，再次对特征进行提取和压缩，最后再通过Sigmoid函数进行激活，最终输出到分类层得到对应类别的预测概率值。

进一步地，所述的类别映射特征热力图的具体计算过程包括：

类别映射对应于第k个特征图的权重

计算公式如下：

上式中，Z表示特征图的数量，i，j表示分别表示特征图的行值和列值，

表示第k个特征图中在(i，j)位置对应的像素值，R^u*v表示的是第k个宽高为u和v的特征图，并且

y^c表示的是计算出来的分类结果；

梯度加权激活映射图

具体计算公式如下：

上式中，

表示第k个特征图对分类结果的影响权重值，A^k表示卷积神经网络最后一层输出的第k个特征图；

则类别映射特征热力图

的计算公式如下：

其中，ReLU表示非线性激活函数。

进一步地，所述的设置阈值以获取具有较大激活值的区域，进而生成二进制掩模，其中，阈值T选取是通过手动设置或者通过自适应阈值计算方法获取并且T值的选取范围为0.1～0.5之间，二进制掩模M的计算公式如下：

表示类别映射特征热力图，T表示阈值。

进一步地，所述的根据掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，包括：

通过计算二进制掩模M的轮廓的上下左右边界，并构造一个垂直矩形来最小包围二进制掩模M的轮廓的上下左右边界，进而得到一个最小外接矩形R(x,y,w,h)，其中x和y表示最小外接矩形左上角顶端点所在图像中的行和列坐标值，w和h表示最小外接矩形的宽和高，根据最小外接矩形R的坐标值，映射到对应到输入的眼底视网膜图片的相应区域来确定眼底病变的所在的位置。

进一步地，所述的将眼底病变区域进行定位的结果从图像中裁剪出来，具体方法为根据眼底病变区域进行定位的结果，通过所述最小外接矩形R所对应的区域位置在图像中进行裁剪。

进一步地，所述的局部卷积神经网络与全局卷积神经网络的主体结构相同，区别在于局部卷积神经网络在全链接层前融合了全局卷积神经网络的全局平均池化层输出的特征信息。

本发明与现有技术相比具有以下技术特点：

1.本发明通过训练一个全局卷积神经网络获眼底病变识别分类的结果，并根据分类结果采用类别判定位方法获取病变映射特征热力图，从而确定病变发生的位置，无需依赖人工标注的病变具体位置信息，就能够检测并定位眼底OCT图像当中病变区域，并且识别的精确度较高，同时还根据定位信息将病变所在裁剪出来再通过一个局部卷积神经网络进行二次识别，并与原来的检测结果进行信息融合，能够有效提升视网膜病变的检测精度。

2.通过实验进一步验证，发现本发明提出的系统在实际的SD-OCT图像视网膜病变检当中，能够有效提高检测识别的精度，并且在对眼底视网膜图像进行分类识别的同时，能够根据类别判别信息定位到相应的眼底病变所在的位置区域，对于后续的眼底诊断分析和治疗具有重要的指导意义。

附图说明

图1为本发明系统的工作流程示意图；

图2为本发明的具体实施方案示意图；

图3为本发明的输出检测结果示例图；

图4为本发明的实验结果图，其中(a)为混淆矩阵，(b)为分类结果报表。

具体实施方式

下面结合附图和具体实施方案对本发明进行进一步的详细说明。

结合图1，本发明的一种基于类别判别定位的SD-OCT图像视网膜病变检测系统，具体包括以模块：

1.数据预处理模块

用于获取SD-OCT视网膜图像，并对每张图像进行病变类别标记，标记后的图像构成一个用于视网膜病变分类的原始数据集；通过数据增强的手段，对原始数据集中的图像进行预处理，生成大量的带标签视网膜图像数据。

具体地，在该模块中，所述的SD-OCT视网膜图像，具体可以是通过现有的频域OCT成像设备进行采集得到的，并且采用横向扫描得到的眼底视网膜图像，即XZ扫描方向的B-scan图像；所述的SD-OCT视网膜图像，还可以通过现有的频域OCT成像设备进对眼底视网膜进行图像采集，采用纵向扫描得到的图片，即YZ扫描方向的A-scan图像。

所述的类别标记，是指由专业眼科医生对眼底视网膜图像当中显著的病变特征进行图片级别标注得到的，病变类别包括但不限于：脉络膜新生血管(CNV)糖尿病型视网膜病变(DME)，视网膜玻璃膜疣(DRUSEN)，以及正常样例(NORMAL)，并将对应的眼底视网膜图像根据医生的标注信息划分到相应的类别当中，得到所述的原始数据集。

所述的数据增强具体操作包括但不限于对图像的像素进行归一化、平移操作，随机翻转、裁剪、中心旋转、随机缩放、仿射变换；数据增强的主要作用是生成大量带标签的眼底视网膜图片数据，解决在训练图像分类检测识别模型图片数据不足的问题，能够改善检测模型的稳定性，增强模型的鲁棒性和泛化能力。

2.神经网络预测模块

用于通过所述的进行预处理后的图像训练全局卷积神经网络，并根据全局卷积神经网络最后一层输出的特征图的特征进行分类，得到全局的类别预测的结果。

本方案中，所述的全局卷积神经网络(G-CNN，Global Convolutional NeuralNetworks)具体由一系列卷积层、池化层和全链接层等核心层次构成的标准的卷积神经网络，其主要特征在于在最后一层输出的特征图与全局平均池化层(GAP，Global AveragePooling)相连，通过对每个特征图的值相加后求平均，得到最后一层的输出的每一个特征图对应的特征值，再将这些特征值输入到一个全链接层(Fc，Fully connection)，再次对特征进行提取和压缩，最后再通过Sigmoid函数进行激活，最终输出到分类层(Classify)得到对应类别的预测概率值。

本方案中，所述的全局卷积神经网络(G-CNN)可采用经典的卷积神经网络模型，包括但不限于VGGNet模型、ResNet模型和DenseNet模型；优选地，本实施例中具体采用DenseNet的主干网络模型作为全局卷积神经网络模型，用于对输入的眼底视网膜图像进行特征提取获取特征图。

3.热力图计算模块

用于根据所述预测的结果获取输出的特征向量，对全局卷积神经网络最后一层输出的所有特征图的求取梯度，通过与对应的特征图做乘积获取梯度加权激活映射图，并对其进行求和以及非线性激活操作得到类别映射特征热力图。

该模块中，根据分类的结果获取输出的特征向量y，通过类别映射到全局卷积神经网络最后一层输出的特征图A，并对所有特征图A的求取梯度，获取权重值w，再通过与对应的特征图A做乘积，获取梯度加权激活映射图A^*，并对梯度加权激活映射图A^*进行求和以及非线性激活(ReLU)操作得到类别映射特征热力图L，其具体的计算方法如下：

首先计算输出分类结果对最后一层输出特征图求导，获取类别映射对应于第k个特征图的权重

计算公式如下：

上式中，Z表示特征图的数量，i，j表示分别表示特征图的行值和列值，

表示第k个特征图中在(i，j)位置对应的像素值，并且有

R^u*v表示的是第k个宽高为u和v的特征图，y^c表示的是计算出来的分类结果；

将

与对应的特征图做乘积获取梯度加权激活映射图

具体计算公式如下：

上式中，

表示第k个特征图对分类结果的影响权重，A^k表示卷积神经网络最后一层输出的第k个特征图；

为了得到特征图对于分类结果的贡献度信息，通过对并对其进行求和以及非线性激活作得到类别映射特征热力图，非线性激活函数具体采用了ReLU函数，则类别映射特征热力图

的计算公式如下：

其中，ReLU表示非线性激活函数，ReLU的作用是对加权得到的特征图中的正值进行保留，即保留类别映射特征热力图中对最终分类结果的积极影响的特征值，通过类别映射特征热力图通过双线性插值的方法上采样到输入的原图尺寸的大小，并与原始输入的图像进行对齐，得到由病变类型所映射得到的对应的病变区域的热力图，进而得到病变特征区域所对应的视觉解析区域。

除了上述的计算方法之外，还可以根据分类的结果获取输出的特征向量y，通过类别映射到全局卷积神经网络中间层输出的特征图A～，并对所有中间层的特征图A～的求取梯度，获取权重值w～，再通过与对应的中间层的特征图A～做乘积，获取梯度加权激活映射图A～^*，并对梯度加权激活映射图A～^*进行求和以及非线性激活(ReLU)操作得到类别映射特征热力图L～。

4.病变区域定位模块

用于根据所述类别映射特征热力图，设置阈值以获取具有较大激活值的区域，进而生成二进制掩模，根据掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，从而实现对图像当中眼底病变区域进行定位。

具体地，该模块中，通过设置一个阈值T来获取具有较大激活值的区域，来生成一个二进制掩模M；其中阈值T选取通过手动设置或者通过自适应阈值计算方法获取，T值的选取范围为0.1～0.5之间：

式中M表示得到的二进制掩模，

表示类别映射特征热力图，T表示通过手动设置或者自适应阈值计算方法所得到的阈值。

根据二进制掩模求取最小外接矩形R，具体是通过计算二进制掩模M的轮廓的上下左右边界，构造一个垂直矩形来最小包围二进制掩模M的轮廓边界，寻找该轮廓边界当中行坐标最小值和最大值x_min和x_max以及列坐标最小值和最大值y_min和y_max，通过这四个值确定最小外接矩形，进而得到一个最小外接矩形R(x,y,w,h)，其中x和y表示最小外接矩形左上角顶端点所在图像中的行和列坐标值，w和h表示最小外接矩形的宽和高。最小外接矩形的计算公式如下：

根据最小外接矩形R的坐标值，映射到对应到输入的眼底视网膜图片的相应区域，进一步确定眼底病变的所在的位置，由于位置信息是通过类别映射关系得到的，从而实现根据类别判定的结果来对眼底发生病变的区域进行定位。

5.精确检测模块

用于将眼底病变区域进行定位的结果从图像中裁剪出来，输入到一个局部卷积神经网络进行二次预测，将预测的分类结果与全局的类别预测的结果进行融合，最终得到更加准确的眼底病变类型检测结果。

具体地，根据眼底病变区域进行定位的结果，通过最小外接矩形R对应的原图的区域，将含有主要病变特征信息的区域从原图当中裁剪出来，得到局部的视网膜图像；再训练一个局部卷积神经网络(L-CNN，Local Convolutional Neural Networks)，来对局部的视网膜图像做进一步的特征提取和分类，并且对局部卷积神经网络(L-CNN)和全局卷积神经网络(G-CNN)全局平均池化层进行了融合，综合考虑了全局和局部的信息，能够得到更加准确的眼底病变类型检测结果。

进一步地，该模块中所采用的局部卷积神经网络(L-CNN)和全局卷积神经网络(G-CNN)的主体网络结构相同，区别在于局部卷积神经网络在全链接层(Fc)前加入了全局卷积神经网络的全局平均池化层输出的特征信息。

通过本发明所提出的具体实施方案，能够对输入的SD-OCT图像进行眼底视网膜病变检测，经过处理后最终得到的检测结果包含了眼底视网膜病变的类别判别信息的，以及根据类别判别定位方法获取的病变区域的位置信息，本发明最终实现同时对图像当中眼底病变类型判别和定位检测。

图3给出了本发明的部分测试结果，其中第一行为叠加眼底视网膜图像是得到的类别映射特征热力图，第二行为眼底病变区域识别定位结果图，第三行为裁剪得到的局部病变区域放大图。从图3中可知，本发明在对病变特征进行分类识别的同时，能够根据类别判别信息获取类别映射特征热力图，进而定位病变所在区域，相比于传统的分类预测方法，本发明给出的检测结果更加准确，并且能够输出发生病变的位置信息，输出的检测结果更具有可解析性。

本发明实施方案通过对1000个测试样对上述提出的技术方案进行验证，通过对检测结果的计算得到混淆矩阵和分类结果报表。由图4给出的实验数据可得，本发明系统对于常见的眼底病变识别准确率达到了0.972以上，召回率达到了0.969以上，F1值达到了0.984以上，实验结果表面，本发明系统在眼底视网膜图像当中能够达到非常高的病变识别精度。

Claims (3)

1.一种基于类别判别定位的SD-OCT图像视网膜病变检测系统，其特征在于，包括：

数据预处理模块，用于获取SD-OCT视网膜图像，并对每张图像进行病变类别标记，标记后的图像构成一个用于视网膜病变分类的原始数据集；通过数据增强的手段，对原始数据集中的图像进行预处理；

神经网络预测模块，用于通过所述的进行预处理后的图像训练全局卷积神经网络，并根据全局卷积神经网络最后一层输出的特征图的特征进行分类，得到全局的类别预测的结果；

热力图计算模块，用于根据所述预测的结果获取输出的特征向量，通过类别映射到全局卷积神经网络最后一层输出的所有特征图，并对所有特征图求取梯度获取权重值，再通过权重值与对应的特征图做乘积获取梯度加权激活映射图，并对梯度加权激活映射图进行求和以及非线性激活操作得到类别映射特征热力图；

病变区域定位模块，用于根据所述类别映射特征热力图，设置阈值以获取具有较大激活值的区域，进而生成二进制掩模，根据掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，从而实现对图像当中眼底病变区域进行定位；

所述的基于类别判别定位的SD-OCT图像视网膜病变检测系统，还包括：

精确检测模块，用于根据眼底病变区域进行定位的结果，通过最小外接矩形R对应的原图的区域，将含有主要病变特征信息的区域从原图当中裁剪出来，得到局部的视网膜图像；再训练一个局部卷积神经网络，来对局部的视网膜图像做进一步的特征提取和分类，分类时对局部卷积神经网络和全局卷积神经网络的全局平均池化层进行了融合，得到更加准确的眼底病变类型检测结果；

所述的设置阈值以获取具有较大激活值的区域，进而生成二进制掩模，其中，阈值T选取是通过手动设置或者通过自适应阈值计算方法获取并且T值的选取范围为0.1～0.5之间，二进制掩模M的计算公式如下：

表示类别映射特征热力图，T表示阈值；

所述的根据掩模求取最小外接矩形，根据最小外接矩形的坐标确定眼底病变的位置，包括：

通过计算二进制掩模M的轮廓的上下左右边界，并构造一个垂直矩形来最小包围二进制掩模M的轮廓的上下左右边界，进而得到一个最小外接矩形R(x,y,w,h)，其中x和y表示最小外接矩形左上角顶点所在图像中的行和列坐标值，w和h表示最小外接矩形的宽和高，根据最小外接矩形R的坐标值，映射到输入的眼底视网膜图像的相应区域来确定眼底病变的所在的位置。

2.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测系统，其特征在于，所述的全局卷积神经网络的最后一层输出的特征图与全局平均池化层相连，通过对每个特征图的值相加后求平均，得到最后一层的输出的每一个特征图对应的特征值，再将这些特征值输入到一个全链接层，再次对特征进行提取和压缩，最后再通过Sigmoid函数进行激活，最终输出到分类层得到对应类别的预测概率值。

3.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测系统，其特征在于，所述的类别映射特征热力图的具体计算过程包括：

类别映射对应于每个特征图的权重

计算公式如下：

上式中，Z表示特征图的数量，i，j表示分别表示特征图的行值和列值，

表示第k个特征图中在(i，j)位置对应的像素值，y^c表示的是计算出来的分类结果；

梯度加权激活映射图

具体计算公式如下：

上式中，

表示第k个特征图对分类结果的影响权重，A^k表示卷积神经网络最后一层输出的第k个特征图；

则类别映射特征热力图

的计算公式如下：

其中，ReLU表示非线性激活函数。

Images