CN109087302A

CN109087302A - 一种眼底图像血管分割方法及设备

Info

Publication number: CN109087302A
Application number: CN201810885166.4A
Authority: CN
Inventors: 赵雷; 王斯凡
Original assignee: Beijing Daheng Puxin Medical Technology Co Ltd
Current assignee: Beijing Daheng Puxin Medical Technology Co Ltd
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2018-12-25

Abstract

本发明提供了一种眼底图像血管分割方法及系统，所述眼底图像血管分割方法，包括下述步骤：步骤S1、构建用于神经网络训练的眼底图像的神经网络训练集；步骤S2、对神经网络训练集进行扩增，获得扩增后的神经网络训练集；步骤S3、构建基于深度学习的用于眼底图像血管分割的神经网络模型；步骤S4、利用扩增后的神经网络训练集对所述神经网络模型进行训练；步骤S5、获取目标眼底图像，对所述目标眼底图像利用经训练的所述神经网络模型进行血管分割。本发明的眼底图像血管分割方法和系统能够克服血管分割公开数据集数量较低的限制，能适应较差质量眼底图像；本发明在大幅简化网络结构的同时、在不损失较大正确率的前提下，能够有效提升分割速度。

Description

一种眼底图像血管分割方法及设备

技术领域

本发明涉及图像处理领域，具体涉及用于对眼底图像进行处理以分割出血管的方法及系统。

背景技术

眼底血管是能够以无创方式直接观察到的血管。眼底血管结构及状态是眼睛以及全身许多器官的健康状况的一个重要参考依据。

目前针对血管分割的算法种类繁多，主要分为：1、非监督方法，主要包括：匹配滤波法、血管跟踪法、基于形变模型的方法。2、监督方法，主要指机器学习以及深度学习方法。

由于眼底照相机成像质量限制、眼底血管本身形状多变，结构复杂，边缘对比度低、病变眼底图像血管，尤其是毛细血管难以分辨等原因，都加深血管分割的难度。因此，提出更有效地血管分割方法有深远的理论意义和实用价值。

目前，已经有人将深度学习方法引入到血管分割中，现有的基于深度学习的眼底图像视网膜血管分割方法及系统，主要包括以下步骤：对训练集进行数据扩增，并对图像进行增强，用训练集训练卷积神经网络，先使用卷积神经网络分割模型对图像进行分割得到一个分割结果，用卷积神经网络的特征训练随机森林分类器，从卷积神经网络模型中抽取最后一层卷积层输出，并作为随机森林分类器的输入进行像素分类，得到另外一个分割结果，对两个分割结果进行融合得到最终的分割图像。

非监督的分割方法是在人工智能算法出现以前的主要分割方式，有基于形态学的分割方法、基于追踪的分割方法和基于snake模型的算法。非监督的分割方法中，基于形态学的方法例如区域增长、形态学重建等算法，拥有一个很高的时间计算复杂度，可达到15分钟之多；追踪的方法在分割血管时虽然可以准确的获得血管的宽度，但是在血管的交叉点和分支中很容易陷入局部最优值，从而得到不准确的血管分割；基于轮廓模型的方法在计算复杂度和时间复杂度都较高，一般的分割时间都在十几分钟。

监督的分割方法依赖于训练集进行训练，一般会比非监督的有比较好的分割结果。深度学习技术出现以前的监督的方法虽然可以得到一个比较好的血管分割结果，但是不仅需要人工设计特征提取算子，而且在调参过程这十分依赖设计者的经验，泛化能力较弱，例如在用神经网络的方法进行血管分割时，必须需要一个拥有多种变化图片的训练集进行训练，如果训练度不够，结果就会出现偏差，造成使用的局限性。因此，现有的基于深度学习的血管分割方法在进行血管分割时并不能实现不依赖于设计者经验的，泛化的血管分割，因此，上述眼底血管分割的方法在实际应用中都具有不适用性和局限性。

发明内容

本发明的目的是针对上述现有技术的不足，提供了一种基于深度学习的眼底图像视网膜血管分割方法，该方法对眼底图像进行语义分割，主要是通过深度学习中的卷积神经网络进行视网膜血管特征图提取，再进行上采样，对像素点是属于血管还是非血管进行概率计算，从而完成对整张图的分割，输出结果为其对应的整体血管概率分布图。

针对眼底血管数据集量过少的问题，本发明主要通过两方面进行改进：1、提出一种去背景构建标准化训练集的方式，以达到适应各种眼底图片的情况。2、在训练集中添加矫正后图像，增加训练集丰富度，以适应不同眼底相机采集图片的色温差

此外，申请人注意到现有的血管分割方法耗时长，计算量大，因此，本发明的方法，不仅能够减少血管分割时间，还能够保证血管分割质量。具体而言，本发明将特殊的轻量级网络结构与ResNet残差方法进行了巧妙地结合，既保证了分割质量，又可以大幅减少血管分割的时间和计算量。

本发明提供了一种眼底图像血管分割方法，其特征在于，所述方法包括下述步骤：

步骤S1、构建用于神经网络训练的眼底图像的神经网络训练集；

步骤S2、对神经网络训练集进行扩增，获得扩增后的神经网络训练集；

步骤S3、构建基于深度学习的用于眼底图像血管分割的神经网络模型；

步骤S4、利用扩增后的神经网络训练集对所述神经网络模型进行训练；

步骤S5、获取目标眼底图像，对所述目标眼底图像利用经训练的所述神经网络模型进行血管分割。

优选地，所述步骤S2包括：对所述神经网络训练集中的眼底图像进行预处理。

优选地，所述神经网络模型为轻量级网络结构。

优选地，所述预处理的步骤包括：将原图分为m*m的区域计算每个区域的C_b、C_r分量的平均值m_b、m_r。按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。

优选地，所述预处理的步骤包括：按下述规则初步确定目标修正点：

对于初步判断已经属于目标修正点的像素，按大小取其亮度值为前10％的位最终确定的目标修正点。

优选地，所述方法还包括对所述目标修正点进行修正。

优选地，所述方法还包括对眼底图像进行背景成分重构。

另一方面，本发明提供一种用于眼底图像血管分割的图像处理设备，其特征在于，所述图像处理设备包括图像采集装置、图像预处理模块、血管分割装置以及图像输出装置，所述图像采集装置用于采集或者拍摄目标患者的眼底图像，所述图像预处理模块用于对眼底图像进行预处理，所述血管分割装置用于利用训练好的神经网络模型对目标患者的眼底图像进行血管分割，所述图像输出装置用于输出分割后的血管图像。

优选地，所述血管分割装置构建神经网络模型并且利用扩增后的神经网络训练集对所述神经网络模型进行训练。

优选地，所述预处理模块用于将原图分为m*m的区域计算每个区域的C_b、C_r分量的平均值m_b、m_r。按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。

本发明的方法中，对数据集中的眼底图像进行预处理的步骤具体包括：

步骤1-1：将数据集中的眼底图像随机排序分成训练样本和测试样本，对训练样本进行矫正，新的训练集由原图和矫正后图片两部分组成。矫正是为了矫正由眼底相机成像不同导致的色温偏差，同时增加训练集丰富度。矫正采用自动阈值修正算法，算法分为两个步骤：修正点检测和修正点调整。首先将RGB色彩空间转到YCbCr色彩空间

1、修正点检测：

将原图分为m*m的区域计算每个区域的C_b、C_r分量的平均值m_b、m_r。按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。

按下述规则初步确定哪些点是属于修正点：

对于初步判断已经属于修正点的像素，按大小取其亮度值为前10％的位最终确定的修正点。

2、修正点调整：

计算修正点亮度值的平均值R_ave，G_ave，B_ave(各通道分开计算)按照以下各式计算最终每个通道的颜色值：

G′＝G×(Y_max/G_ave)

R′＝R×(Y_max/R_ave)

B′＝B×(Y_max/B_ave)

式中，Y_max就是YCbCr颜色空间中Y分量的在整幅图像中的最大值。R′，G′，B′为新的图像RGB值

步骤1-2：对数据集进行去背景操作。首先将RGB图像转为灰度图像，然后进行去背景操作，去背景基于奇异值分解(SVD)低通滤波算法，本申请的发明人提出了通过奇异值分解(SVD)来进行低通滤波的方法，能够有效提高低通滤波的效率，改进背景去除的效果。低通滤波器可表示为k_l为低通滤波截止点。矩阵A为m*n矩阵，rank(A)＝r,r≤n，它的SVD为

此处U为m*m正交矩阵，V为n*n正交矩阵

Λ_r×r＝diag(λ₁,λ₂,λ₃,...,λ_r)，其中λ₁≥λ₂≥λ₃≥…≥λ_n≥0为矩阵的非零奇异值，奇异值反映了矩阵的能量分布，奇异值越大反映了图像的轮廓信息，从奇异值分解数学原理可知，图像奇异值的高序部分表征图像的噪声，中序部分尤其是前几十个成分反映了图像的局部变化以及噪声对整幅图象的影响，而低序部分则反映了较为平缓的背景部分。去背景操作是为了将训练集背景展平，消除眼底相机光照不均造成的不良影响。

奇异值越小反映了图像的细节信息，由于视网膜眼底图像中，背景部分信息占整个图像的大概80％，所以根据这一原理采用低通滤波选择奇异值较大的若干特征值和特征向量来重构背景成分。

此时为重构矩阵，即背景成分。

将原图减去背景成分得到的即为血管等细节图。

步骤1-3：对训练样本进行图像增强，顺序是：标准化像素值、限制对比度自适应直方图均衡化增强对比度、伽马校正光照不均，最后进行图像归一化。

标准化像素值使用Z-score归一化处理：

其中，x_i为第i个像素值，μ为图象均值，σ为图像标准差，为归一化后第i个像素点新的像素值。

限制对比度自适应直方图均衡化流程如下：设置自适应直方图均衡化窗口为8*8像素，直方图的变换函数会将一个很窄范围内的像素映射到整个像素范围。为防止噪声放大，由变换函数的斜度决定指定的像素值周边的对比度放大。这个斜度和领域的累积直方图的斜度成比例。CLAHE(限制对比度直方图均衡)通过在计算CDF(累积直方图函数)前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。这限制了CDF的斜度，因此，也限制了变换函数的斜度。直方图被裁剪的值，也就是所谓的裁剪限幅，取决于直方图的分布因此也取决于领域大小的取值。

伽马校正流程如下：1.归一化：将像素值转换为0～1之间的实数，公式如下：i/255；2.预补偿：根据公式，求出像素归一化后的数据以1/gamma为指数的对应值；3.反归一化：将经过预补偿的实数值反变换为0～255之间的整数值。

图像归一化：使图像像素分布规范到0～1之间。归一化图像＝(img-图像最小值)*255/(图像最大值-图像最小值)。

步骤2.用训练样本训练卷积神经网络，所述卷积神经网络由卷积层、下采样层、残差层、上采样层、全连接层五个部分构成，网络结构如下：

下表为本发明使用的卷积网络模型结构。

由于传统编码解码思想的图像分割并不能完全适用于眼底血管分割，因为在多次下采样过程中毛细血管等细节损失严重，导致模型预测结果中，毛细血管检测能力较弱，所以本发明减少两层下采样，并且引入ResNet残差网络的思想，补充下采样过程导致的细节损失，如图4所示，新的网络模型增强了毛细血管分割能力。

在训练过程中使用的主要技巧是：为了防止训练过拟合发生，在同样数目卷积层中加入dropout去掉0.2的连接。并且dropout前后加上BatchNormalization操作。该操作可以加快收敛速度，提升模型训练效率。

步骤3.将最后一层连接softmax层，损失函数为多类的对数损失函数categorical_crossentropy或者dice loss，优化函数为随机梯度下降SGD或Adam，学习率为0.001，迭代次数为200，经过迭代训练得到模型。

步骤4：利用训练好的卷积神经网络模型对测试样本进行分割，得到最终分割结果。测试集需要预处理步骤，灰度化后去背景操作，然后进行图片增强，方法与训练集处理方式相同。

有益效果

本发明的眼底图像血管分割方法和系统能够克服血管分割公开数据集数量较低的限制，能适应较差质量眼底图像；本发明在大幅简化网络结构的同时、在不损失较大正确率的前提下，能够有效减少训练耗时并提升预测分割速度。

本发明方法中采用的去背景算法简洁、易实现，效果明显。只需要一步矩阵计算时间损耗低。

本发明所采用的网络结构易搭建实现，此网络结构是在Unet基础上的改进，融合了ResNet残差网络的思想，补充了Unet在下采样过程中的细节损失，本发明为提升训练速度去掉了一层卷积。却能够基本保证灵敏度(Se)、准确性(Acc)、特异性(SP)三个指标没有明显损失。

1、真阳性TP正确血管像素点

2、假阳性FP背景被判断为血管像素

3、真阴性TN正确背景

4、假阴性FN血管像素被判断为背景

公式如下：

附图说明

图1为本发明方法和系统所采用的网络结构的示意图；

图2为利用本发明的方法和系统对眼底图像进行处理，每个流程步骤之后的效果图；

图3为利用本发明的方法和系统进行去背景处理后的去背景效果图；

图4为本发明与现有技术分割效果对比图。

具体实施方式

以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此：

本发明的基于深度学习的眼底图像血管分割方法，包括以下步骤：

步骤1：对训练集图像进行预处理

步骤2：用训练样本训练卷积神经网络

步骤3：利用训练好的卷积神经网络模型对测试样本进行分割，得到最终分割结果

具体地，如图1-2所示，步骤1中对数据集中的眼底图像进行预处理，将数据集中的眼底图像分成训练样本和测试样本。首先对训练集进行随机旋转角度，将只有20张584*563的开源数据集扩充至100张，然后对训练样本进行修正得到新的100张数据集，对校正前数据集提取训练样本RGB图像的G通道，将只有G通道的数据集与白平衡校正后的数据集结合得到新的共含200张图片的数据集。将此200张数据集进行去背景操作得到新的200张去背景操作数据集，结合未去背景数据集共400张数据集。该数据集为训练集，然后从数据集每张图片中随机裁剪1000个48*48尺寸的patch，作为训练样本，并且设置batch_size＝32。

将该数据集使用奇异值分解低通滤波算法进行去背景操作。从奇异值分解数学原理可知，图像奇异值的高序部分表征图像的噪声，中序部分尤其是前几十个成分反映了图像的局部变化以及噪声对整幅图象的影响，而低序部分则反映了较为平缓的背景部分。去背景操作是为了将训练集背景展平，消除照相机光照不均造成的不良影响。

去背景操作后的图片进行Z-score归一化处理：

其中，x_i为第i个像素值，μ为图象均值，σ为图像标准差，为归一化后第i个像素点新的像素值，归一化是为了防止图像亮度对模型造成影响。

归一化后对图像进行限制对比度自适应直方图均衡化设置自适应直方图均衡化窗口为8*8像素，为防止噪声放大，限制累计分布直方图(CDF)的斜率为2。

预处理的最后一步为伽马校正，流程如下：1.归一化：将像素值转换为0～1之间的实数，公式如下：i/255；2.预补偿：根据公式，求出像素归一化后的数据以1/gamma为指数的对应值；3.反归一化：将经过预补偿的实数值反变换为0～255之间的整数值。4.图像归一化：原图/255，使图像像素分布规范到0～1之间。

具体地，步骤2中，用训练样本训练卷积神经网络，卷积神经网络架构如图1所示，

经过卷积和下采样得到特征图，每次卷积一次后dropout操作减少0.5的连接，防止进入局部最优，然后再卷积和上采样，对应层数卷积层进行结合消除上采样造成的误差。卷积层后使用ReLU函数作为激活函数，最后一层卷积后连接softmax层，损失函数为多类的对数损失函数categorical_crossentropy，优化函数为随机梯度下降SGD，学习率为0.001，迭代次数为200，经过迭代训练得到模型。训练过程采用以上方法，从而使整个卷积神经网络收敛到满足误差要求。

具体地，步骤3的主要流程如下：提取测试集G通道图片，进行奇异值分解低通滤波去背景操作，然后归一化，限制对比度直方图增强处理，最后进行伽马校正，然后输入训练模型进行预测，得到的结果为与原图相同大小的概率分布图，即血管分割结果。

本实施例采用网络公开数据集进行训练即测试，实验平台为Ubuntu 16.04.4,GPU为1080Ti,实验选用20张眼底图像作为训练集，20张图像作为测试集，平均准确率95.51％、平均特异性98.24％、平均灵敏度77.64％。也就是说，采用本发明的方法，在仅使用三层网络结构的情况下，在大幅度减少计算量并提高计算速度的前提下，可以实现95％以上的准确率，这种准确率远高于常规的血管分割方法。

本发明采用公开数据集DRIVE，由于训练集只有20张，作为深度学习训练集数量远远不够，所以需要进行数据扩充。常见数据扩增方法为：平移、旋转、翻转、增强对比度、裁剪、缩放等，但是由于训练集数据均为采用标准摄影条件获得的图像，而现实中或者实验中所采集的本地眼底图像因操作偏差导致成像质量参差不齐，有大量漏光、曝光过度、曝光不足、色温偏灰蓝等问题，申请人采用常规扩增方式进行扩增后再对本地眼底图像进行血管分割时，会出现分割不清遗漏大量细节等现象，如图4左侧所示为对同一张眼底图像采用常规扩增和学习方式进行分割后的血管图像，右侧为采用本发明的扩充以及学习方式进行分割获得的血管分割图像，对比可以看出，右侧图像的分割血管的细节明显更加清晰。

本发明首先采用对训练集原图进行随机角度旋转，并进行增强对比度、伽马校正、图像归一化等操作，但实验中发现本地眼底图像库中图像因操作偏差导致成像质量参差不齐，有大量漏光、曝光过度、曝光不足、色温偏灰蓝等问题，因此，为了增强成像质量不佳的眼底图像分割效果，采用了本发明实施例中的分割方法，分割效果明显提高。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims

1.一种眼底图像血管分割方法，其特征在于，所述方法包括下述步骤：

2.根据权利要求1所述的眼底图像血管分割方法，其特征在于，所述步骤S2包括：对所述神经网络训练集中的眼底图像进行预处理。

3.根据权利要求1所述的眼底图像血管分割方法，其特征在于，所述神经网络模型为轻量级网络结构。

4.根据权利要求1所述的眼底图像血管分割方法，其特征在于，所述预处理的步骤包括：将原图分为m*m的区域计算每个区域的C_b、C_r分量的平均值m_b、m_r。按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。

5.根据权利要求4所述的眼底图像血管分割方法，其特征在于，所述预处理的步骤包括：按下述规则初步确定目标修正点：

|C_b(i,j)-(m_b+D_b×sign(m_b))|<1.5×D_b

|C_r(i,j)-(m_r+D_r×sign(m_r))|<1.5×D_r，对于初步判断已经属于目标修正点的像素，按大小取其亮度值为前10％的位最终确定的目标修正点。

6.根据权利要求5所述的眼底图像血管分割方法，其特征在于，所述方法还包括对所述目标修正点进行修正。

7.根据权利要求5所述的眼底图像血管分割方法，其特征在于，所述方法还包括对眼底图像进行背景成分重构。

8.一种用于眼底图像血管分割的图像处理设备，其特征在于，所述图像处理设备包括图像采集装置、图像预处理模块、血管分割装置以及图像输出装置，所述图像采集装置用于采集或者拍摄目标患者的眼底图像，所述图像预处理模块用于对眼底图像进行预处理，所述血管分割装置用于利用训练好的神经网络模型对目标患者的眼底图像进行血管分割，所述图像输出装置用于输出分割后的血管图像。

9.根据权利要求8所述于眼底图像血管分割的图像处理设备，其特征在于，所述血管分割装置构建神经网络模型并且利用扩增后的神经网络训练集对所述神经网络模型进行训练。

10.根据权利要求8所述于眼底图像血管分割的图像处理设备，其特征在于，所述预处理模块用于将原图分为m*m的区域计算每个区域的C_b、C_r分量的平均值m_b、m_r。按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。