CN107644418B - 基于卷积神经网络的视盘检测方法及系统 - Google Patents

Abstract

本发明公开了基于卷积神经网络的视盘检测方法及系统，利用深度卷积神经网络进行监督学习能够更好的学习到具有区分性的特征，采用RGV图像和长方形感兴趣区域能更好的增强模型的表达能力。多级训练有效的增强了训练模型的鲁棒性和精确性，概率引导的检测方法同时提高了模型的效率，因此本发明能够克服样本量少、图像复杂、质量差等问题，高效准确的完成视盘检测的任务。

Description

基于卷积神经网络的视盘检测方法及系统

技术领域

本发明涉及眼科医学图像处理领域，特别是涉及基于卷积神经网络的视盘检测方法。

背景技术

视盘是视网膜上视觉纤维和血管汇集穿出眼球的部位，是视神经的始端。视盘的检测在眼底图像的自动处理与分析中具有重要的意义。在实际的应用场景中，由于各种疾病的存在和图像采集设置的不同，视盘的检测仍存在较大的挑战。近年来，视盘的检测工作主要集中在非监督方法上，其准确性和效率尚存在一定的不足。随着统计学理论、机器学习理论在医学图像处理领域应用的不断深入，基于监督学习的方法越来越多的被应用到相关结构的检测中，并取得了一定的效果。其中特征提取的好坏将最终影响到系统的性能。

虽然健康的视盘具有较为统一的颜色和表观结构，但由于各种疾病的存在，使视盘区域在颜色、形状、大小都呈现出不同的变化。加之采集设置的影响，视盘的位置存在非常大的偏差，图像也存在灰度不均匀、噪声影响、运动模糊等质量问题。在提取特征的过程中，提取稳定的结构特征、充分利用上下文信息显得尤为重要。现有的监督学习方法采用固定的方形窗，且利用手工提取的特征，不能良好的捕捉目标结构的区分性信息，且可移植性较差。

现有基于监督学习方法进行训练时，往往需要较大的样本量。由于医学图像的特殊性，医学图像的数量往往难以达到要求，图像标注更需要耗费较大的工作量，这就限制了模型的效果。

发明内容

为了解决现有技术的不足，本发明提供了基于卷积神经网络的视盘检测方法，该方法在卷积神经网络自动学习特征的基础上，结合粗分割的血管信息和矩形样本框来增强模型可学习的上下文和结构信息，能有效的提高卷积神经网络的表达能力。该方法采用多级训练策略来降低医学图像样本量带来的影响，大大的提高了检测位置的准确性。

基于卷积神经网络的视盘位置检测方法，步骤为：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。

所述第一子集包括两个部分，第一部分是视盘中央直径为14个像素的圆形区域内步长为2采样获得的图像；第二部分是随机选择的非视盘区域图像；

所述第二子集包括两个部分，第一部分是视盘中央5*5的区域内步长为1采样获得的图像，第二部分是随机选择的非视盘区域图像；

所述待检测图像在视盘检测之前，利用多方向多尺度的二阶高斯滤波器对待检测图像进行粗分割，用粗分割血管替换蓝色通道。

所述对图像进行预处理，是利用多方向多尺度的二阶高斯滤波器对图像中血管结构进行粗分割，用粗分割得到的血管图像替换蓝色通道；预处理前图像为RGB图像，包括：红色通道、绿色通道和蓝色通道，预处理后的图像为RGV图像，包括：红色通道、绿色通道和粗分割血管；

对尺寸进行缩放以增加样本量，假设训练集中包括n幅图像，将图像尺寸增大设定数值倍数后，得到增加n幅图像；将图像缩小设定倍数后，又得到增加n幅图像，至此，训练集中包括3n幅图像；然后将所述3n幅图像归一化处理到同一像素。

所述步骤(2)的卷积神经网络模型，包括：第一卷积层、第一降采样层、第二卷积层、第二降采样层、第一全连接层、第二全连接层和输出层；

其中，第一卷积层包括20个卷积核，卷积核的大小为5*5*3；

第二卷积层包括50个卷积核，卷积核的大小为5*5*20；

第一降采样层和第二降采样层的卷积核大小均为2*2，步长为2；

第一全连接层输入向量的尺寸为2200；

第二全连接层输入向量的尺寸为500；

输出层分为视盘和非视盘两类。

所述步骤(4)在检测过程中，对待检测图像采用改进的滑动窗进行检测。

为了解决现有技术的不足，本发明还提供了基于卷积神经网络的视盘位置检测系统，该方法在卷积神经网络自动学习特征的基础上，结合粗分割的血管信息和矩形样本框来增强模型可学习的上下文和结构信息，能有效的提高卷积神经网络的表达能力。该方法采用多级训练策略来降低医学图像样本量带来的影响，大大的提高了检测位置的准确性。

基于卷积神经网络的视盘位置检测系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器执行时，完成以下步骤：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。

一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器运行时，完成以下步骤：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。

与现有技术相比，本发明的有益效果是：

本发明首先将原始图像的蓝色通道替换为粗分割的血管，达到增强视盘周围结构信息的目的。然后选择不同尺寸的长方形感兴趣区域作为训练集。采用多级训练的方式，首先采用视盘及周围的正样本进行训练，然后采用视盘中心的正样本对已训练模型进行微调。检测视盘的过程中利用检测的概率指导检测过程。

卷积神经网络可以自动的提取有效的表征信息，通过结合粗分割血管的信息和合理的选择样本框，使训练的模型能包括更多的上下文信息和鲁棒的结构信息。多级的训练较好的解决了医学图像样本量较少的问题，首先针对鲁棒的视盘位置进行训练，可以避免病灶区等的干扰，进一步微调模型，增加了检测的准确性。同时，提出一种概率引导的检测策略，减少了计算量，可以有效的提到检测效率。

利用邻域内的每个像素的概率进行加权投票，增强检测视盘位置的准确性。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的整体框图；

图2a为标记有正方形正样本位置的原始图像；

图2b为标记有长方形正样本位置的训练图像；

图3为本发明采用的卷积神经网络结构；

图4a-图4g为一幅测试图像和返回的概率图像；

图5为概率引导检测步长和检测时间的关系图；

图6a、6b展示了两幅检测结果图像。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包括”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

图1中，本发明的流程图主要分为训练阶段和测试阶段，主要涉及的步骤分为图像预处理和训练样本的准备、卷积神经网络模型的设计和训练、概率引导的视盘检测和后处理等四个主要步骤。在每个主要步骤分别给出了对应的示例图像。

1、图像预处理和训练样本的准备

原始眼底图像蓝色通道往往因为过饱和而缺失信息，所以本发明利用多方向多尺度的二阶高斯滤波器(multi-scale multi-directional second derivation ofgaussian)对图像进行粗分割，然后替换掉原图像的蓝色通道。原图像为RGB图像，预处理之后的图像记为RGV(Vessel)图像。图2a、图2b显示了原始图像和预处理之后的图像。

由于医学图像的采集和标注都较为困难，且卷积神经网络需要的样本量偏多，同时为了更好的利用上下文和结构信息，本发明采用长宽比为2:1的长方形样本，且共采用了3个尺寸，对样本进行多尺度扩充，最后统一归一化为56*28像素。准备的训练样本分为多组，其中负样本在非视盘的区域随机选择。第一组正样本在视盘和其周围选择，第二组在视盘中央选择。图2a、图2b分别显示了本发明设计的多尺度长方形框和常用的方形框。

2、卷积神经网络模型设计和训练

卷积神经网络(Convolutional Neural Network，CNN)可以监督的进行特征学习，且学习来的特征具有优于传统手动设计特征的区分能力。本发明采用CNN进行特征的学习和模型的建立。CNN是一种特殊的多层神经网络，其结构和传统的神经网络一样，包括输入层、隐含层、输出层三类，不同的是，CNN的隐含层由部分连接的卷基层和降采样层串接而成。其中，卷基层由多个卷积核组成，每一个卷积核的神经元权值相同。卷积层主要提取特定区域的局部特征，可以看做是特征提取层；降采样层由一个卷积核构成，可以看做是特征选择层，起到模糊滤波的作用。

本发明所采用的CNN结构如图3。除输入层之外，网络还包括第一卷积层、第一降采样层、第二卷基层、第二降采样层、两个全连接层和一个输出层等7层。其中，第一卷积层包括20个5*5*3的卷积核，第二个卷基层包括50个5*5*3的卷积核，两个降采样层的卷积核大小为2*2，步长为2，降采样时，选取最大的像素值作为采样值。两个全连接层的输入维度分别为2200和500，最终输出层分为两类。

进行参数设置之后，利用训练集对模型进行训练。其中训练集共包括图像1924张，分别增大1.2倍，缩小0.8倍，共得到1924*3幅训练图像。第一轮训练的正样本在视盘中心14*14的邻域内，以步长为2进行采样，第二轮训练的正样本在视盘中心5*5的邻域内，以步长为1进行采样。负样本每轮分别与正样本数目相同，在非视盘区域随机选择。第一轮训练30个epoch收敛后停止，第二轮微调10个epoch后停止。训练之后的模型将作为检测器，用来检测测试图像中存在视盘的情况。

3、概率引导的视盘检测

传统的检测方法在得到检测器之后，利用滑动窗口对目标进行检测，这样会比较耗时；盲目增加滑动步长也往往造成漏检。本发明采用检测概率引导的视盘检测方法，根据当前检测位置样本的概率决定步长，在视盘小于0.1的位置设置较大步长，比如5，在视盘概率不小于0.1的位置，设计检测步长为1。在示例图像上的不同检测步长的结果如图4a-图4g所示，检测时间和步长的关系如图5所示。

4、后处理

在模型返回的概率值的基础上，用均值为1的5*5的高斯卷积核进行卷积。然后，选取概率值最大的像素位置作为视盘的中心位置。图6a、6b展示了两幅检测结果图像。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (8)

1.基于卷积神经网络的视盘位置检测方法，其特征是，步骤为：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

所述第一子集包括两个部分，第一部分是视盘中央直径为14个像素的圆形区域内步长为2采样获得的图像；第二部分是随机选择的非视盘区域图像；

所述第二子集包括两个部分，第一部分是视盘中央5*5的区域内步长为1采样获得的图像，第二部分是随机选择的非视盘区域图像；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。

2.如权利要求1所述的基于卷积神经网络的视盘位置检测方法，其特征是，所述待检测图像在视盘检测之前，利用多方向多尺度的二阶高斯滤波器对待检测图像进行粗分割，用粗分割血管替换蓝色通道。

3.如权利要求1所述的基于卷积神经网络的视盘位置检测方法，其特征是，所述对图像进行预处理，是利用多方向多尺度的二阶高斯滤波器对图像中血管结构进行粗分割，用粗分割得到的血管图像替换蓝色通道；预处理前图像为RGB图像，包括：红色通道、绿色通道和蓝色通道，预处理后的图像为RGV图像，包括：红色通道、绿色通道和粗分割血管。

4.如权利要求1所述的基于卷积神经网络的视盘位置检测方法，其特征是，对尺寸进行缩放以增加样本量，假设训练集中包括n幅图像，将图像尺寸增大设定数值倍数后，得到增加n幅图像；将图像缩小设定倍数后，又得到增加n幅图像，至此，训练集中包括3n幅图像；然后将所述3n幅图像归一化处理到同一像素。

5.如权利要求1所述的基于卷积神经网络的视盘位置检测方法，其特征是，所述步骤(2)的卷积神经网络模型，包括：第一卷积层、第一降采样层、第二卷积层、第二降采样层、第一全连接层、第二全连接层和输出层；

其中，第一卷积层包括20个卷积核，卷积核的大小为5*5*3；

第二卷积层包括50个卷积核，卷积核的大小为5*5*20；

第一降采样层和第二降采样层的卷积核大小均为2*2，步长为2；

第一全连接层输入向量的尺寸为2200；

第二全连接层输入向量的尺寸为500；

输出层分为视盘和非视盘两类。

6.如权利要求1所述的基于卷积神经网络的视盘位置检测方法，其特征是，所述步骤(4)在检测过程中，对待检测图像采用改进的滑动窗进行检测。

7.基于卷积神经网络的视盘位置检测系统，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器执行时，完成以下步骤：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

所述第一子集包括两个部分，第一部分是视盘中央直径为14个像素的圆形区域内步长为2采样获得的图像；第二部分是随机选择的非视盘区域图像；

所述第二子集包括两个部分，第一部分是视盘中央5*5的区域内步长为1采样获得的图像，第二部分是随机选择的非视盘区域图像；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。

8.一种计算机可读存储介质，其特征是，其上存储有计算机指令，所述计算机指令在被处理器运行时，完成以下步骤：

步骤(1)：图像预处理和样本准备：获取训练样本，先对图像进行预处理，即用粗分割血管替换蓝色通道；然后，对预处理后的图像进行尺寸放大和缩小以增加样本量，将预处理后的图像尺寸放大得到的样本、预处理后的图像尺寸缩小得到的样本和预处理后的图像尺寸不变得到的样本共同作为预处理后的训练样本，将预处理后的训练样本分别进行区域提取获得第一子集和第二子集，所述第一子集的数量要大于第二子集的数量；

所述第一子集包括两个部分，第一部分是视盘中央直径为14个像素的圆形区域内步长为2采样获得的图像；第二部分是随机选择的非视盘区域图像；

所述第二子集包括两个部分，第一部分是视盘中央5*5的区域内步长为1采样获得的图像，第二部分是随机选择的非视盘区域图像；

步骤(2)：建立卷积神经网络模型，对卷积神经网络模型利用第一子集进行第一轮训练；

步骤(3)：对步骤(2)训练后得到的卷积神经网络，采用第二子集进行第二轮训练；

步骤(4)：基于概率引导视盘检测：利用步骤(3)训练后得到的卷积神经网络对待检测图像进行视盘检测分类；检测样本经过卷积神经网络检测分类之后，得到是否为视盘的概率；

在待检测图像在视盘检测的过程中，根据当前检测窗口样本是否为视盘的概率决定滑动窗口的步长的调整，若当前检测概率小于0.1，则步长为5；若当前检测概率不小于0.1，则步长设为1；最终得到待检测图像的概率图，其中未检测的窗口样本的位置概率置为0；

步骤(5)：利用方差为1的高斯滤波器对获得的概率图像进行滤波，得到邻域内的每个像素的概率加权投票后的概率图，然后选取概率值最大的位置为视盘的中心位置。