CN106599804A - 基于多特征模型的视网膜中央凹检测方法 - Google Patents

Abstract

本发明公开了一种基于多特征模型的视网膜中央凹检测方法，所述视网膜中央凹检测方法包括以下步骤：一、全局先验特征提取，二、局部先验特征提取，三、深度特征提取，四、建立融合多特征的中央凹检测模型，通过提取中央凹的全局、局部以及深度特征信息并进行有效融合，完成对视网膜中央凹的精确检测。本发明可以有效克服眼底光照噪声、眼底病变以及异常血管分布对中央凹自动检测的影响，提高中央凹检测的精度和鲁棒性，从而为基于视网膜图像的身份识别提供更加稳健的身份特征信息。

Description

基于多特征模型的视网膜中央凹检测方法

技术领域

本发明涉及一种融合多特征的视网膜中央凹检测方法。

背景技术

眼底视网膜的中央凹区域，是视网膜上视觉最为敏感的区域，其大小、形态以及与视盘、血管网络之间的位置关系能够为基于视网膜图像的身份识别提供必要的辅助信息。对视网膜中央凹的准确检测可以有效提高利用视网膜图像进行身份识别的可靠性和精度。然而，由于眼底的复杂性，如存在光照噪声、眼底病变等干扰，传统的中央凹检测算法通常会出现错误的检测。

发明内容

为了克服眼底的复杂特性，本发明提出了一种基于多特征模型的视网膜中央凹检测方法，通过提取中央凹的全局、局部以及深度特征信息并进行有效融合，完成对视网膜中央凹的精确检测。

本发明的目的是通过以下技术方案实现的：

一种基于多特征模型的视网膜中央凹检测方法，包括如下步骤：

一、全局先验特征提取

根据全局方向模型拟合出视网膜主血管的抛物线方程和视盘中心点坐标，在此基础上，利用中央凹与视盘的先验距离确定中央凹坐标进而定义出中央凹检测的感兴趣区域R_ROI，并给出计算基于全局先验信息的中央凹位置概率分布函数，其中：

感兴趣区域R_ROI的计算公式如下：

中央凹位置概率分布函数的计算公式如下：

式中：(x，y)∈I，I为输入图像；d_min和d_max为中央凹中心到视盘中心距离的上下界；Z为归一化参数；σ为置信度尺度控制参数；γ为旋转角度参数，为视盘中心点。

二、局部先验特征提取

首先利用血管去除方法对图像中的血管进行去除，然后利用快速径向对称变换对血管去除图像进行变换处理，得到快速径向对称变换结果

式中：为半径集合，S_n为半径为n时的径向对称响应。

三、深度特征提取

采用迁移学习的方法，对VGG-F模型进行迁移学习，学习出中央凹区域的深度特征，利用深度特征训练Softmax回归模型；在此基础上，利用Softmax回归模型对待检测图像块进行分类，并将该分类得分作为该图像块的基于深度特征的中央凹深度先验概率Pb_C：

式中，f为训练出的Softmax回归模型；j代表分类为中央凹类别的索引；K为类别总数；S为滑动窗口的尺度总数；其中H和W分别表示图像块的高度和宽度。

四、建立融合多特征的中央凹检测模型

融合多特征的中央凹检测模型的计算公式如下：

通过求解如下优化问题，即可成功实现中央凹精确检测，即：

式中，为定义局部先验概率分布的置性度，Conf_C为深度先验概率分布的置信度，(x_fovea，y_fovea)即为中央凹检测的最终结果。

本发明可以有效克服眼底光照噪声、眼底病变以及异常血管分布对中央凹自动检测的影响，提高中央凹检测的精度和鲁棒性，从而为基于视网膜图像的身份识别提供更加稳健的身份特征信息。

附图说明

图1为视网膜眼底图像上中央凹示例；

图2为中央凹全局概率分布图示例；

图3为全局特征定位结果示例；

图4为中央凹检测感兴趣区域；

图5为血管去除结果示例；

图6为快速径向对称变换示例；

图7为中央凹局部概率分布图示例；

图8为中央凹深度特征提取框架；

图9为中央凹深度位置概率分布示例；

图10为局部和深度特征失效情况，a)中央凹处存在病变，b)中央凹对比度低，c)中央凹异常，d)局部位置概率分布，e)局部位置概率分布，f)深度位置概率分布；

图11为中央凹处出现不同复杂情况下融合多特征检测结果，a)存在病变时图，b)对比度低时图，c)异常时图，d)存在病变时检测结果，e)对比度低时检测结果，f)异常时检测结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

在视网膜眼底图像中，中央凹通常表现为暗红色的斑点，其位于视网膜血管网络的对称轴上，且距离视盘中心点约为2.5倍视盘直径的距离，如图1a)所示。然而，对于一些眼底图像，其血管网络分布会出现异常，此时中央凹并不完全符合上述先验(如图1b)所示)。此外，眼底图像中会出现暗色的病变或色素沉着(如图1c)所示)，与中央凹区域有着类似的外观。由于这些干扰因素的存在，使得视网膜中央凹的检测也面临着一定的挑战。为了解决这些问题，本发明提出了了一种基于多特征模型的视网膜中央凹检测方法，通过提取中央凹的全局先验特征(先验位置信息)、局部先验特征(形状信息)以及深度特征，并将这些多特征进行融合，实现中央凹的有效检测。具体实施步骤如下：

一、全局先验特征提取

为了利用眼底视网膜的解剖学结构知识对中央凹的位置进行定位，本发明首先采用方向模型来确定出符合眼底图像中主血管分布的最优抛物线，进而计算出该最优抛物线的对称轴方程，并粗略估计出中央凹可能出现的位置。在此基础上，为了补偿因视网膜血管分布异常而导致的中央凹位置偏离，本发明将定义出中央凹检测的感兴趣区域(Region ofInterest，ROI)，并给出中央凹分布的全局先验概率分布图。

具体而言，对于给定的输入图像I，令为假定的视盘中心点，全局方向模型记作(x，y)∈I其定义如下：

其中：

式中，p是模型参数集合，包含双抛物线的开角参数a₁和a₂、方向收敛速度参数c₁和c₂以及旋转角度参数γ。

通过血管提取方法得到血管实际方向和对应点处的血管强度，分别记作和w^vel(x，y)。主血管最优抛物线参数即可按如下公式进行优化获得，即：

式中，Θ包括了方向模型参数p以及最优视盘位置该点即为最优抛物线的顶点。

在计算出主血管最优抛物线参数及其对应顶点坐标的基础上，即可得到最优抛物线的抛物线方程：

Γ＝{(x′，y′)：a₁y′²＝x′，x′≥0；a₂y′²＝-x′，x′≤0} (3)。

式中，(x′，y′)为抛物线上点的坐标，其为原点在且经过角度γ旋转后的坐标系上点。

考虑方向模型计算出的为双抛物线，即视盘鼻侧和颞侧主血管的最优抛物线对，本发明需要进一步判断中央凹位于视盘哪一侧抛物线的对称轴上。由眼底解剖学结构可知，视盘靠近鼻侧，而中央凹是靠近颞侧的。因此，当眼底图像中视盘出现在图像视场的左侧时，即该眼底图像为左眼眼底图像，中央凹将会出现在眼底图像的右侧；而当眼底图像中视盘出现在图像视场的右侧时，即该眼底图像为右眼眼底图像，中央凹将会出现在眼底图像的左侧。据此特性，即可确定中央凹位于视盘哪一侧抛物线的对称轴上。具体而言，令点(x_mid，y_mid)为图像视场中心点，本发明将根据下式来判断辅助中央凹定位的抛物线方程：

由于坐标系原点在抛物线顶点处，抛物线Γ*的对称轴方程则为：y′＝kx′，式中k＝tan(-γ)。考虑到中央凹通常距离视盘中心点2.5倍视盘直径的距离，记作d_prior＝2.5×d_OD，式中d_OD为视盘直径，根据全局先验即可计算出可能的中央凹中心点则可按下式计算：

在此基础上，本发明计算基于全局先验信息的中央凹位置概率分布函数可按下式计算：

式中，Z为归一化参数，σ为置信度尺度控制参数。基于全局先验的中央凹位置概率图如图2所示。图3给出了利用全局先验信息定位出的中央凹结果示例。

图4给出了不同图像的感兴趣区域，中央凹的中心只可能存在该ROI区域内。

考虑到中央凹只可能存在于主血管张成的空间范围内，且其与视盘中心的距离有一定的范围约束。本发明首先根据定义出中央凹检测的感兴趣区域。给定中央凹中心到视盘中心距离的上下界，即d_min和d_max，定义如下的感兴趣区域：

二、局部先验特征提取

中央凹在视网膜图像上为暗色且近似圆形的目标，该局部外观特征也可以用来辅助中央凹的定位。为了去除视网膜血管对该局部特征提取的干扰，本发明首先利用基于形态学的血管去除方法来对图像中的血管进行去除，其结果如图5所示。

为了提取中央凹的暗圆形特征，本发明利用快速径向对称变换(Fast RadialSymmetry Transform，FRST)对血管去除图像进行变换处理。具体而言，对于输入图像I，给定一个半径集合对于每一个半径令p＝(x，y)表示图像I上任意一点，根据点p处的梯度g，计算方向投影图像O_n和幅值投影图像M_n。为了计算O_n和M_n，首先定义出正影响像素p_+ve(p)和负影响像素p_-ve(p)。如图6所示，p_+ve(p)为沿p点梯度向量方向距离p点距离为n的像素点，而p_-ve(p)为沿p点梯度向量反方向距离p点距离为n的像素点。其可按如下方式进行计算：

式中，为取整操作。

接下来，方向投影图像O_n和幅值投影图像M_n分别初始化为零矩阵。然后，对图像I中每一点p，利用下式更新O_n和M_n，即：

在此基础上，计算半径为n时的径向对称响应S_n，即：

S_n＝F_n*A_n (10)。

其中：

式中，A_n为高斯滤波核，α为径向控制参数，β_n为M_n和O_n的归一化参数。

利用不同半径得到的最终的快速径向对称变换结果为：

本发明将变换结果S(x，y)作为基于局部外观特征的中央凹位置概率分布函数，记作

图7给出了最终的快速径向对称变换结果S的图像。从图中可以看出，不同尺度的暗圆形目标被有效地增强了。然而，该局部特征并不能有效区分中央凹以及眼底图像中的暗病变。为此本发明接下来将利用基于深度学习的方法，学习出中央凹区域的深度特征。

三、深度特征提取

为了分辨ROI区域中不同的暗色目标，本发明利用深度学习方法，通过训练卷积神经(Convolutional neural network，CNN)网络，学习出中央凹区域的深层次特征，进而利用这些深度特征训练Softmax回归模型。在此基础上，利用该模型对待检测图像块进行分类，并将该分类得分作为该图像块的基于深度特征的中央凹位置概率。图8给出了中央凹深度特征提取的流程图。其中，本发明利用VGG-F网络结构来进行视网膜中央深度特征的提取，该网络结构中包含13个卷积层(convolution layer)、5个池化层(pooling layer)以及3个全链接层(fully-connected layer)，其具体配置如表1所示。

对于给定输入数据其中H、W和D分别表示图像块的高度、宽度和通道数。CNN模型通过构建如下网络f来获得输出向量y：

y＝f(x)＝f_L(...f₂(f₁(x；w₁)；w₂)；w_L) (15)。

式中，函数f_l(l∈1，2，...，L)记作计算模块或层，其可以是卷积、池化以及激活等操作。该函数f_l利用数据x_l，即f_l-1(x_l-2；w_l-1)，和参数向量w_l计算并输出当前层的输出x_l+1，即f_l(x_l；w_l)。

考虑到眼底图像的收集和标注存在的困难，很难获得大量带有标记的眼底图像。而对于深度网络的训练，如AlexNet、GoogLeNet以及VGG等深度模型，为了学习出深度模型中数以千万的参数，需要大量带有标注信息的图像，来对深度网络重新训练。为此，本发明采用迁移学习的方法，对VGG-F模型进行迁移学习，即通过预训练模型的微调(fine-tuning)来对新的数据和类别进行学习，训练出具有高判别性的特征。

为了进行迁移学习，本发明首先继承预训练的VGG-F模型中的参数，并将模型中所有卷积层的学习率调整为默认学习率的0.1倍。此外，为了利用新加入数据和类别进行训练，本发明将最后两层去除，替换成一个新的全连接层和Softmax-loss层来训练模型，其中该全连接层的参数由随机方式得到，并将学习率设置成0.01。

表1本发明采用的VGG-F网络结构

对上述深度网络进行训练，即可得到具有区分中央凹及其他区域能力的深度网络。利用该网络，在眼底图像上，通过滑动窗口的方式对图像上每一图像块进行识别，可计算出该图像块属于中央凹的概率。具体而言，对图像上任意一点(x，y)，以该点为中心的局部窗口，记作利用深度网络计算出该图像块属于中央凹类别的概率记作Pb_i。考虑到不同眼底图像上中央凹区域的大小有一定的尺度变化，本发明将通过改变滑动窗口尺寸的方式，利用训练好的深度网络模型，来计算点(x，y)处不同尺度图像块属于中央凹类别的概率并按如下方式获得眼底图像上任意点处的多尺度概率值，即中央凹深度先验概率Pb_C可按如下方式进行计算：

式中，f为训练出的深度网络模型，j代表分类为中央凹类别的索引，K为类别总数，S为滑动窗口的尺度总数。

图9给出了不同眼底图像中央凹深度先验概率分布图。从图中可以看出，中央凹处较其他区域具有较高的概率值。

四、融合多特征的中央凹检测模型

由于眼底图像的复杂性以及各种病变的出现，会导致局部先验概率或深度先验概率失效情况的发生，如图10所示。例如，对于局部先验概率，当中央凹附近出现病变或中央凹局部外观特征不明显时，在中央凹检测感兴趣区域中，局部先验概率分布图将会出现多个高概率值区域，或者，感兴趣区域内局部先验概率的最大值将会远低于正常眼底图像中中央凹区域的概率值，如图10e)所示，此时局部先验概率分布的置信度应该降低，而全局先验概率分布和深度先验概率分布将保持较高置信度；而当眼底图像中中央凹出现更加复杂的病变时，在中央凹检测感兴趣区域中，整个深度先验概率的最大值将会远低于正常眼底图像中中央凹区域的概率值，如图10f)所示，此时深度先验概率分布的置信度应该降低。考虑到基于血管网络的全局先验概率具有对病变的鲁棒性，此时，只有全局先验概率分布保持较高置性度。

为了将不同特征进行有效融合，本发明首先对局部先验概率分布图进行阈值分割，在得到的二值分割图像上统计中央凹检测感兴趣区域R_ROI中白色连通区域的个数N_white，在此基础上，定义局部先验概率分布的置性度

其中，为经验阈值。Conf_C为深度先验概率分布的置信度，其定义为：

综合考虑上述分析，本发明建立如下融合模型：

利用该融合模型计算出的中央凹融合概率分布图如图11所示，在正常眼底图像、图像血管网络分布不规则以及出现复杂病变时，本发明所计算的融合概率分布在真实中央凹区域都有较高的概率分布值，通过求解如下优化问题，即可成功实现中央凹精确检测，即：

式中，(x_fovea，y_fovea)为中央凹检测的最终结果，即中央凹最终位置坐标。

Claims (4)

1.一种基于多特征模型的视网膜中央凹检测方法，其特征在于所述视网膜中央凹检测方法具体实施步骤如下：

一、全局先验特征提取

根据全局方向模型拟合出视网膜主血管的抛物线方程和视盘中心点坐标，在此基础上，利用中央凹与视盘的先验距离确定中央凹坐标进而定义出中央凹检测的感兴趣区域R_ROI，并给出计算基于全局先验信息的中央凹位置概率分布函数，其中：

感兴趣区域R_ROI的计算公式如下：

$R_{ROI}=\left\{(x,y)\right|d_{min}^2\≤x^{\′2}+y^{\′2}\≤d_{max}^2,a*y^{\′2}\≤x^{\′}\};$

中央凹位置概率分布函数的计算公式如下：

式中：(x，y)∈I，I为输入图像；d_min和d_max为中央凹中心到视盘中心距离的上下界；Z为归一化参数；σ为置信度尺度控制参数；γ为旋转角度参数，为视盘中心点；

二、局部先验特征提取

首先利用血管去除方法对图像中的血管进行去除，然后利用快速径向对称变换对血管去除图像进行变换处理，得到快速径向对称变换结果

式中：为半径集合，S_n为半径为n时的径向对称响应；

三、深度特征提取

采用迁移学习的方法，对VGG-F模型进行迁移学习，学习出中央凹区域的深度特征，利用深度特征训练Softmax回归模型；在此基础上，利用Softmax回归模型对待检测图像块进行分类，并将该分类得分作为该图像块的基于深度特征的中央凹深度先验概率

式中，f为训练出的Softmax回归模型；j代表分类为中央凹类别的索引；K为类别总数；S为滑动窗口的尺度总数；其中H和W分别表示图像块的高度和宽度；

四、建立融合多特征的中央凹检测模型

融合多特征的中央凹检测模型的计算公式如下：

通过求解如下优化问题，即可成功实现中央凹精确检测，即：

式中，为定义局部先验概率分布的置性度，为深度先验概率分布的置信度，(x_fovea，y_fovea)即为中央凹检测的最终结果。

2.根据权利要求1所述的基于多特征模型的视网膜中央凹检测方法，其特征在于所述中央凹坐标按下式计算：

式中，d_prior＝2.5×d_OD，d_OD为视盘直径；k＝tan(-γ)；a₁和a₂为双抛物线的开角参数，x_mid为图像视场中心点。

3.根据权利要求1所述的基于多特征模型的视网膜中央凹检测方法，其特征在于所述S_n按下式计算：

S_n＝F_n*A_n；

其中：

$F_n\left(p\right)=\frac{M_n\left(p\right)}{{\mathrm{\β}}_n}{\left(\frac{\left|{\tilde{O}}_n\left(p\right)\right|}{{\mathrm{\β}}_n}\right)}^{\mathrm{\α}}$

${\tilde{O}}_n\left(p\right)=\left\{\begin{array}{cc}{O}_n\left(p\right)& if{O}_n\left(p\right)<{\mathrm{\&beta;}}_n\\ {\mathrm{\&beta;}}_n& otherwise,\end{array}\right.;$

式中，A_n为高斯滤波核，α为径向控制参数，β_n为M_n和O_n的归一化参数，O_n和M_n分别为方向投影图像和幅值投影图像。

4.根据权利要求1所述的基于多特征模型的视网膜中央凹检测方法，其特征在于所述按下式计算：

所述按下式计算：

其中，为经验阈值。