CN110969191B - 基于相似性保持度量学习方法的青光眼患病概率预测方法 - Google Patents

Abstract

本发明公开了一种基于相似性保持度量学习方法的青光眼患病概率预测方法，所述方法使用预训练网络进行初始化，根据特定图像分类任务的需求训练网络，在训练网络中间层时采用单目度量学习损失函数，提升了图像中间层特征特定方向优化能力；在特征归纳预测阶段不对其进行优化，而是仅仅通过交叉熵损失函数优化归纳预测神经网络分类器，减少了待优化网络参数数量；使用单目对比损失函数训练相似性保持特征提取网络，通过调整网络参数得到更适用于青光眼患病概率预测任务的网络模型，训练后的相似性保持特征提取网络在青光眼患病概率预测实验中取得了更优的特征归纳预测效果。

Description

基于相似性保持度量学习方法的青光眼患病概率预测方法

技术领域

本发明属于图像分类技术领域，涉及一种通过相似性保持度量训练网络的图像分类方法，具体涉及一种基于相似性保持度量学习方法的青光眼患病概率预测方法。

背景技术

随着医疗设施的不断优化，民众进行身体状况的检查途径也变得便捷。但随着就诊民众数量的上升，对于诊断病情的医生来讲，工作量也随之上升。伴随着图像数字化技术的蓬勃发展，医疗图像采集效率也越来越高。在这种趋势下，如何通过采集到的医疗影像，进行医疗影像处理，辅助医生进行病情预测及诊断，引起了学术界的广泛关注。

近年来，随着神经网络成功应用于多类大规模通用图像分类后，研究者越来越关注神经网络在特定领域内的应用。以医疗领域图像为例，其具有图像内容相似、组织结构相似、拍摄角度相似等特点。大量研究表明，同以往依赖手工特征方法对图像进行抽象表示方法相比，神经网络卷积层输出的特征具备出色的多样性和依据不同任务的可变性。因而，近年来基于卷积神经网络的图像分类算法层出不穷，基于卷积神经网络的图像分类方法从网络状态来讲主要分为三种，分别是使用预训练网络、基于已有网络微调和多种网络结果混合。与另外两种单网络结构方法不同，混合网络是将不同结构的网络结果加以融合，由于每幅图像都要使用多个网络进行处理并对结果加以取舍，使得使用多种网络结果混合方法在图像分类任务中效率较低，使用更多的是另外两种。虽然在通用大规模数据集上训练得到的预训练网络已经取得了令人惊叹的图像特征表达性能，但由于不同特定任务数据形态、内容以及关注点等方面，其往往不具备与特定任务数据集合中图像相契合网络状态参数，因此基于已有网络进行微调成为比较热门的研究话题。微调网络是使用经过预训练的图像分类模型状态参数作为起点，对网络进行初始化，然后在此基础上针对特定任务进行网络参数优化训练。通常使用经过微调的检索网络比直接应用预训练模型的效果更好。在分类任务中，微调网络一般根据不同的特定任务数据，通过修改网络最后输出层的输出维度，使用分类损失函数对网络参数进行指导更新，使得训练后得到的网络架构更加贴近特定领域的图像分类任务。当下较为常用的分类任务损失函数为交叉熵损失函数、对数损失函数和逻辑斯蒂损失函数。

基于卷积神经网络的图像分类关键在于训练出一个与指定任务高度匹配的网络，通过训练的网络对图像内容进行预测以及分类，提高图像分类的准确率。在训练网络参数时最重要的是训练数据集和图像分类网络的架构，使用分类任务损失函数可以一端输入图像，另一端直接输出分类预测结果，此外可以通过相似性保持度量学习的方法指导网络中间层特征提取的优化方向，这对提升图像分类的准确率有着重要的促进作用。可见，基于相似性保持度量学习方法的青光眼患病概率预测算法具有广泛的应用前景。

发明内容

本发明的目的是提供一种基于相似性保持度量学习方法的青光眼患病概率预测方法，该方法使用度量学习对比损失函数训练网络，指导网络中间层特征提取方向；使用神经网络对图像特征进行归纳抽象，通过眼底图像对青光眼疾病患病概率进行预测，为青光眼检测任务提供更准确的网络模型，提升眼底图像青光眼患病情况的分类以及患病概率预测的准确率。

本发明的目的是通过以下技术方案实现的：

一种基于相似性保持度量学习方法的青光眼患病概率预测方法，包括如下步骤：

步骤一、提取眼底图像视杯视盘区域；

步骤二、对步骤一中经视杯视盘区域提取后的图像进行训练集图像数据增强；

步骤三、使用在ImageNet数据集训练过的网络参数作为预训练参数，对BN-Inception网络结构内参数进行初始化；

步骤四、使用单目对比损失函数训练步骤三初始化得到的网络，在训练过程中通过反向传播和调整网络参数，以得到中间层特征表达不同类型眼底图像能力更强的网络；

步骤五、固定步骤四中所有的网络参数、网络结构不改变，由网络提取出所有训练集图像的图像特征；

步骤六、对经步骤六提取出的训练集图像特征，构建全连接结构特征分类器，使用图像特征作为输入，预测对应眼底图像患者患有青光眼的概率；

步骤七、将测试集图像数据以与训练集图像数据相同的方式进行裁剪、缩放操作，计算测试集中每一幅图像所拍摄的眼底图像对应患有青光眼的概率，整个测试集的测试效果使用接受者操作特性曲线(ROC)曲线下方的面积大小(AUC)的值来衡量。

相比于现有技术，本发明具有如下优点：

(1)使用预训练网络进行初始化，根据特定图像分类任务的需求训练网络，在训练网络中间层时采用单目度量学习损失函数，提升了图像中间层特征特定方向优化能力。

(2)单目对比损失函数减弱了大量干扰样本对训练时区分不同类别图像特征的干扰，提升了网络对患病样本的关注度，同时缩短了网络每轮训练时损失计算时间。

(3)对于从网络中提取出来的图像紧凑表示，对于细粒度相似性保持训练的主要网络结构，本发明在特征归纳预测阶段不对其进行优化，而是仅仅通过交叉熵损失函数优化归纳预测神经网络分类器，减少了待优化网络参数数量。

(4)使用单目对比损失函数训练相似性保持特征提取网络，通过调整网络参数得到更适用于青光眼患病概率预测任务的网络模型，训练后的相似性保持特征提取网络在青光眼患病概率预测实验中取得了更优的特征归纳预测效果。

附图说明

图1为本发明基于相似性保持度量学习方法的青光眼患病概率预测方法的训练结构图；

图2为视杯视盘区域旋转增强提取示意图；

图3为基于相似性保持度量学习方法的青光眼患病概率预测流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于相似性保持度量学习方法的青光眼患病概率预测方法，所述方法利用对比损失函数训练网络，网络训练过程中通过反向传播修改网络参数，在训练过程中，调整参数是为了提高同类别眼底图像对之间的余弦相似度，同时减小不同类别眼底图像对之间的余弦相似度，使最终得到的网络模型中间层特征表达不同类型眼底图像能力更强，在分类过程中获得更好的表现效果。

如图1所示，网络训练结构包括图像视杯视盘区域分割、图像数据增强、相似性保持单目对比损失函数指导特征提取卷积神经网络训练、图像特征提取、基于偏置交叉熵损失函数特征归纳预测，其中：

所述视杯视盘区域分割指使用U-Net方法对视杯视盘区域中心点进行预测，保持中心点仍为分割后的图像中心，将原始眼底图像裁剪出大小为500*500像素，主要图像内容为视杯视盘的区域图像。

所述数据增强是指对于每一幅裁剪后图像，保持图像中心不变化，对图像进行旋转操作，每次在上次旋转的基础上旋转30°，即每幅图像进行11次旋转操作，得到12幅同中心不同旋转角度的增强数据(图2)；在作为网络训练数据时，将每幅图像先缩放到255*255像素大小，同时保持了原图像的长宽比例，每次在输入网络进行计算前在此255*255像素大小的图像中随机选取一个227*227的区域，并以50％的概率对227*227的图像进行水平翻转。

所述图像特征提取指使用眼底图像经视杯视盘区域提取并缩放裁剪后的眼底图像作为输入，经网络计算输出表达图像的经全局平均池化以及归一化操作后的特征向量。

所述特征提取卷积神经网络使用BN-Inception结构作为特征提取网络主干结构，舍弃原结构中全连接层结构，使用在ImageNet数据集训练过的网络参数作为预训练参数，对特征提取卷积神经网络进行初始化。

训练阶段对BN-Inception网络结构使用了Adam学习优化策略，设置Adam初始学习率为10^-5，每轮计算从增强后训练数据集中随机选取患病眼底图像、未患病眼底图像各300幅，不重复地划分为100个MiniBatch，每个MiniBatch由6幅图像组成，其中患病眼底图像与未患病眼底图像各3幅。在训练过程中，每个MiniBatch中数据以三元组方式组合，其中q是当前MiniBatch中任一图像，m(q)是当前MiniBatch中与q余弦相似度最高的同类别图像，N(q)表示当前MiniBatch中与q余弦相似度最低的不同类别的图像。所述余弦相似度计算公式如下：

其中，f(i)表示图像i输入网络后输出的特征向量，f(j)表示图像j输入网络后输出的特征向量。

本步骤中，训练集图像分为查询图像、正样本图像和负样本图像，每个查询图像分别对应一个正样本和一个负样本。

所述全局池化用于将特征提取卷积神经网络最后一个卷积层所输出的多特征图处理为输出特征向量，对每一幅输出特征图取此特征图内最大特征值构成图像特征向量的一维，全局平均池化处理方法如下：

其中，k表示特征向量的维度，X_k是维度为k的特征图，x表示一幅输出特征图中的特征值，

表示最后一个卷积层第K个卷积核输出的特征图，f^(m)表示经全局池化后所获得的输出特征向量。

所述归一化是L2归一化，L2归一化平衡像素点取值范围的影响而不改变数值之间的比例差距，将数据统一转换到0和1之间。计算公式如下：

其中，V表示向量，||V||表示向量的模，v_i表示特征向量上第i维上的值。

所述单目对比损失函数公式如下：

其中，f(q_i)、f(m(q_i))和f(N(q_i))分别表示当前MiniBatch中，以第i幅图像作为查询图像时其由相似性保持特征提取网络计算得到的特征向量、与查询图像余弦相似度最高的同类别图像的特征向量，与其余弦相似度最低的不同类别的图像。Y(q_i)＝1表示该查询图像是标注为患有青光眼的眼底图像，Y(q_i)＝0表示该查询图像是标注为未患有青光眼的眼底图像。根据公式可知，对于在数据集中标注为患病的图像，计算单目对比损失函数值，而对于标注为未患病样本不进行损失值的计算。同时，对于标注为同类别的样本对，两者间余弦相似度值越小，单目对比损失函数的输出就越大；对于标注为不同类别的样本对，两者间余弦相似度越大，单目对比损失函数的输出值越大。

对已标注的青光眼的眼底图像的偏置交叉熵损失函数计算公式如下：

其中p(x_i)表示第i个样本特征归纳预测网络输出预测的患病概率，y表示数据集中标注的是否患病标签，y＝1表示患病，y＝0表示未患病，w_p与w_n表示自定义权重，在本方法中分别取w_p＝0.9、w_n＝0.1。所述p(x_i)的计算公式如下：

其中，i表示特征向量的维度编号，k表示特征向量的维度，x_i表示特征向量上第i维上的值。

使用本发明提出的基于相似性保持度量学习方法对青光眼患病概率进行预测，实验效果用接受者操作特性曲线(ROC)曲线下方的面积大小(AUC)的值来衡量。如图3所示，进行患病概率预测的步骤为：

步骤一、使用U-Net对原始眼底图像进行视杯视盘区域提取，保证裁剪后的区域中心与U-Net检测出视杯视盘区域中心吻合，用于接下来进行的数据标准化步骤。

步骤二、对步骤一中经视杯视盘区域提取后的图像进行数据标准化，对于每一幅裁剪后图像，在作为网络输入数据时，将每幅图像先缩放到255*255像素大小，每次在输入网络进行计算前在此255*255像素大小的图像中随机选取中心的227*227的区域。

步骤三、将以中心为基准的标准化图像输入到训练后的网络中，通过网络提取图像特征。

步骤四、对图像特征进行归一化。计算公式如下：

其中，V表示向量，||V||表示向量的模，v_i表示特征向量上第i维上的值。

步骤五、通过网络提取得到图像特征向量图，图像特征向量图经过全局平均池化方法计算结果作为该图像的特征向量。计算公式如下：

其中，k表示特征向量的维度，X_k是维度为k的特征图，x表示一幅输出特征图中的特征值。

步骤六、将特征向量作为训练后的特征归纳预测分类器的输入，输出该特征对应眼底图像患有青光眼的概率。

步骤七、对所有测试集数据都进行患病概率预测，依据概率预测结果以及数据集中真实情况标注，绘制接受者操作特性曲线(ROC)曲线，计算曲线下方的面积大小(AUC)的值，通过计算AUC值可以测得患病概率准确性。

采用预训练初始化后的BN-Inception网络，通过上述步骤分别使用预训练参数、相似性保持单目对比损失函数训练、相似性保持训练与特征归纳预测方法训练网络。从ORIGA数据集中随机选择50％数据作为训练集，剩余50％作为测试集。检索结果采用接受者操作特性曲线(ROC)曲线下方的面积大小(AUC)的值来衡量，表1的实验结果表明本发明提出的方法在青光眼患病概率预测方面领域取得了显著的提升效果，且具有广泛的应用前景。

表1

实验方法	AUC
		预训练网络	0.60
相似性保持	0.77
		相似性保持+特征归纳预测	0.82

Claims (8)

1.一种基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述装置包括如下模块：

眼底图像提取模块：用于提取眼底图像视杯视盘区域；

图像数据增强模块：用于对经视杯视盘区域提取后的图像进行训练集图像数据增强；

参数初始化模块：用于使用在ImageNet数据集训练过的网络参数作为预训练参数，对BN-Inception网络结构内参数进行初始化；

相似性保持特征提取模块：用于使用单目对比损失函数训练初始化得到的相似性保持特征提取网络，在训练过程中通过反向传播和调整网络参数，以得到中间层特征表达能力更强的相似性保持特征提取网络，其中：

单目对比损失函数公式如下：

f(q_i)、f(m(q_i))和f(N(q_i))分别表示当前MiniBatch中，以第i幅图像作为查询图像时其由相似性保持特征提取网络计算得到的特征向量、与查询图像余弦相似度最高的同类别图像的特征向量、与其余弦相似度最低的不同类别的图像，Y(q_i)＝1表示该查询图像是标注为患有青光眼的眼底图像，Y(q_i)＝0表示该查询图像是标注为未患有青光眼的眼底图像；

图像特征提取模块：固定相似性保持特征提取模块中所有的网络参数、网络结构不改变，由相似性保持特征提取网络提取出所有训练集图像的图像特征；

训练集青光眼概率预测模块：用于对经图像特征提取模块提取出的训练集图像特征，构建全连接结构特征分类器，使用图像特征提取模块中提取的图像特征作为输入，通过基于偏置的交叉熵损失函数优化特征分类器，预测对应眼底图像患者患有青光眼的概率；

测试集青光眼概率预测模块：用于将测试集图像数据以与训练集图像数据以相同的方式进行裁剪、缩放操作，分别输入特征提取网络和分类器网络计算测试集中每一幅图像所拍摄的眼底图像对应患有青光眼的概率。

2.根据权利要求1所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述眼底图像提取模块中，提取眼底图像视杯视盘区域的具体步骤如下：使用U-Net对原始眼底图像进行视杯视盘区域提取，保证裁剪后的区域中心与U-Net检测出视杯视盘区域中心吻合。

3.根据权利要求1所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述图像数据增强模块中，图像数据增强的具体步骤如下：对于每一幅裁剪后图像，保持图像中心不变化，对图像进行旋转操作，每次在上次旋转的基础上旋转30°，即每幅图像进行11次旋转操作，得到12幅同中心不同旋转角度的增强数据；在作为网络训练数据时，将每幅图像先缩放到255*255像素大小，每次在输入网络进行计算前在此255*255像素大小的图像中随机选取一个227*227的区域，并以50％的概率对227*227的图像进行水平翻转。

4.根据权利要求1所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述相似性保持特征提取模块中，训练阶段对BN-Inception网络结构使用Adam学习优化策略，设置Adam初始学习率为10^-5，每轮计算从增强后训练数据集中随机选取患病眼底图像、未患病眼底图像各300幅，不重复地划分为100个MiniBatch，每个MiniBatch由6幅图像组成，其中患病眼底图像与未患病眼底图像各3幅；在训练过程中，每个MiniBatch中数据以三元组方式组合，其中q是当前MiniBatch中任一图像，m(q)是当前MiniBatch中与q余弦相似度最高的同类别图像，N(q)表示当前MiniBatch中与q余弦相似度最低的不同类别的图像。

5.根据权利要求4所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述余弦相似度计算公式如下：

其中，f(i)表示图像i输入网络后输出的特征向量，f(j)表示图像j输入网络后输出的特征向量。

6.根据权利要求1所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述图像特征提取模块中，图像特征提取使用眼底图像经视杯视盘区域提取并缩放裁剪后的眼底图像作为输入，经网络计算输出表达图像的经全局平均池化以及归一化操作后的特征向量。

7.根据权利要求6所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述全局平均池化的处理方法如下：

其中，k表示特征向量的维度，X_k是维度为k的特征图，x表示一幅输出特征图中的特征值，

表示最后一个卷积层第K个卷积核输出的特征图，f^(m)表示经全局池化后所获得的输出特征向量。

8.根据权利要求6所述的基于相似性保持度量学习方法的青光眼患病概率预测装置，其特征在于所述归一化为L2归一化，计算公式如下：

其中，V表示向量，||V||表示向量的模，v_i表示特征向量上第i维上的值。

Images