CN113177916A - 一种基于少样本学习方法的轻微高血压眼底辨别模型 - Google Patents

Abstract

本发明公开了基于少样本学习方法的轻微高血压眼底辨别模型，包括：孪生神经网络，连接于孪生神经网络输出端的距离度量网络，以及连接于距离度量网络输出端的全连接网络；孪生神经网络包括两个并列的主干特征提取网络，分别用于提取输入的两张待比对的眼底图像的特征向量；其中，所述两个并列的主干提取网络具有相同的网络架构且共享网络参数和权值，并且包含通道注意力机制和空间注意力机制；所述两张待比对的眼底图像包括一张轻微高血压眼底图像和一张待检测眼底图像；所述距离度量网络通过距离函数计算所述两个并列的主干特征提取网络所输出的两个特征向量之间的距离；所述全连接网络根据所述距离输出两张待比对的眼底图像的相似度结果。

Description

一种基于少样本学习方法的轻微高血压眼底辨别模型

技术领域

本发明涉及神经网络学习领域，具体涉及一种基于少样本学习方法的轻微高血压眼底辨别模型。

背景技术

有研究表明，有限的医疗资源使诊断看诊质量有所降低。这一现象因医生长时间高度集中的会诊导致医护群体精疲力竭、注意力不集中和减少专业判断。随着数据化时代来临，许多医疗体系中逐渐引入了计算机应用，接管了小部分需要手工操作的医疗程序，减轻了临床医护人员的疲惫，使其在医疗流程中更加高效、便捷。涉及深度学习方法的医学图像处理可以提供初步筛选。深度学习眼科医学影像诊断筛查系统的主要功能是帮助眼科医生阅读眼底照片，筛选图像，诊断可能的症状，并指出感兴趣的区域，从而减少误诊和漏诊。医生的假阳性和假阴性诊断会给病人造成严重的后果，误诊可能是由于长时间的紧张练习、缺乏专业技术和医生的失误造成的。这使得利用眼底图像输入辅助诊断和早期筛查更适合于提供智能医疗和提高医疗程序效率的初步目的。

高血压不仅增加了患心脑血管疾病的风险，而且会同步损害眼科系统。眼科医生利用视网膜血管结构来了解高血压如何不同步地影响眼睛。它通常用于识别高血压的持续影响，并比较处方后的变化，因为图像反映了药物的长期影响。潜在的眼部并发症随着高血压的出现而加重。高血压会导致血液循环问题，从而改变视网膜血管的变化。这些异常发育包括视网膜小动脉变窄、管腔结构缩小、视网膜小动脉壁-管腔比变宽、毛细血管血流减少。高血压的慢性损害可持续到高血压视网膜病变。除了出血、微动脉瘤、棉絮斑等常见的视网膜病变特征外，高血压还表现出动静脉压迫、动脉粥样硬化、弯曲小动脉和小静脉以及分叉角度降低等长期特征。特征的特异性有助于眼科医生将高血压性视网膜病变与其他视网膜疾病进行区分。因此类特征仅存在于高血压患者中，用于确定高血压和高血压视网膜病变的严重程度。

近些年来，卷积神经网络(Convolutional neural network,CNN)已经在自然图像处理上取得了成功，这些成功为重新思考医学图像处理提供了一种方式。高分类精度的前提是网络有足够的监督学习样本，然而这通常是非常困难的，CNN与医学领域打交道的致命问题来源于它的数据缺乏。在极度缺乏医疗数据的情况下，数据科学家已经开始重新思考如何正确地使用有限样本数据，以反映真实世界的医疗数据应用。受到了人类的视觉系统的启发，发现人类具有通过少量的例子学习来识别新物体的本能，因此提出了深度学习细分领域——少样本学习来模仿这种人类赋予的能力。

少样本度量学习方法通过包含两个或多个相同子网的神经网络体系结构来实现。这里的“相同”是指，它们有相同的网络架构、相同的参数和权重，参数更新在两个子网之间镜像。它通过比较输入的特征向量来寻找输入的相似度进行特征对比，辨别不同之处，以此归类。传统神经网络学习预测多个类。当向数据添加/删除新类时会产生了一个问题，该网络则需要进行更新与迭代，并在整个数据集上重新进行训练。若通过少样本学习方法，通过同样的学习相似函数，网络可以训练来辨别两个图像是否相同。这使用户能够在不再次更新迭代新网络的情况下对新的数据进行快速检索与分类。近些年有一些关于少样本学习在医疗领域的工作，比如结合卷积孪生网络的方法，评估早产儿视网膜病变与膝关节炎X光在不同时间节点和单次问诊时疾病严重程度的分析与时间所引起的长时间变化。有些文献设计了模型接受双眼的眼底图像作为输入，并学习左右眼之间相关性，以帮助进行预测。还有些方案是以脑白质为数据基础进行多分辨率特征向量提取并获取基于欧氏距离函数的对比相似度。

发明内容

本发明的主要目的在于针对现有技术的不足，提出一种基于少样本学习方法的轻微高血压眼底辨别模型，以解决目前高血压眼底图像与健康眼底图像进行对比的方法所存在的模型较为复杂、对比分类速度慢且由于样本数量较少导致对比结果不够理想的技术问题。

为解决上述技术问题，本发明采用如下技术方案：

一种基于少样本学习方法的轻微高血压眼底辨别模型，包括：孪生神经网络，连接于所述孪生神经网络输出端的距离度量网络，以及连接于所述距离度量网络输出端的全连接网络；所述孪生神经网络包括两个并列的主干特征提取网络，分别用于提取输入的两张待比对的眼底图像的特征向量；其中，所述两个并列的主干提取网络具有相同的网络架构且共享网络参数和权值，并且包含通道注意力机制和空间注意力机制；所述两张待比对的眼底图像包括一张轻微高血压眼底图像和一张待检测眼底图像；所述距离度量网络通过距离函数计算所述两个并列的主干特征提取网络所输出的两个特征向量之间的距离；所述全连接网络根据所述距离输出两张待比对的眼底图像的相似度结果。

与现有技术相比，本发明上述技术方案的有益效果在于：本发明的模型，将通道注意力与空间注意力相结合的注意力机制加入主干特征提取网络，并配合距离度量，进行反向传播训练，可以通过少量学习样本，以较少的迭代次数和较低的运算复杂度获得准确率较高的模型，实现眼底图像的高血压眼底初步筛查，与原始数据进行对比，获得很有竞争力的结果。

附图说明

图1是本发明实施例的轻微高血压眼底辨别模型的网络架构图；

图2是本发明实施例的主干特征提取网络的网络架构图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明的具体实施方式提出一种基于少样本学习方法的轻微高血压眼底辨别模型，参考图1，该模型包括孪生神经网络10，连接于孪生神经网络10输出端的距离度量网络20，以及连接于距离度量网络20输出端的全连接网络30。其中，孪生神经网络10包括预训练的两个并列的主干特征提取网络，分别用于提取输入的两张待比对的眼底图像X₁、X₂的特征向量F₁、F₂，可分别用函数F(X₁)和F(X₂)表示特征提取过程。两个并列的主干提取网络具有相同的网络架构且共享网络参数和权值，并且，主干提取网络包含了通道注意力机制和空间注意力机制。所输入的两张待比对的眼底图像，一张为轻微高血压眼底图像X₁，另一张为待检测眼底图像X₂。距离度量网络20通过距离函数计算两个并列的主干特征提取网络所输出的两个特征向量F₁和F₂之间的距离，全连接网络30根据所述距离输出两张待比对的眼底图像的相似度结果。基于相似度结果，可以对待检测的眼底图像进行是否为轻微高血压眼底的一个初步筛查。

如图2所示，主干特征提取网络包括由输入端至输出端依次连接的特征提取单元11、注意力机制模块12和特征输出单元13。其中，注意力机制模块12包括在先的通道注意力池化和在后的空间注意力池化，并且空间注意力池化的输出与特征提取单元11的输出叠加后作为所述特征输出单元13的输入。注意力机制模块12结合了通道注意力和空间注意力，通道注意力在前，特征提取单元11的高层卷积的输出进入注意力机制模块12之后，先进行通道注意力池化，通道注意力机制关注通道之间的联系，具体由全局最大池化层和一个全局平均池化层进行池化，然后池化结果送到一个多层神经网络，对全局最大池化结果和全局平均池化结果进行元素加法以获取池化的特征图，之后进行sigmoid激活，获得基于通道的特征图。通过通道注意力机制所建立起的通道特征图，可以更好地浏览不同通道之间的高抽象特征。而空间注意力机制更关注空间之间的像素点关联关系，前一步建立的通道特征图进入空间注意力池化，由两个池化层进行下采样计算，这两个池化层并不是进行逐个元素的加法，而是将两个池化层连在一起进行进一步的卷积，卷积过程后，再次用sigmoid函数激活空间特征图。所得到的空间特征图，与特征提取单元11的输出叠加后，作为所述特征输出单元13的输入。所述特征输出单元13由卷积层、池化层、ReLU层依次堆叠而成。

继续参考图2，特征提取单元11包括依次串联的第一至第四特征提取层111、112、113、114和末尾卷积层115；其中，第一特征提取层111和第二特征提取层112均由卷积层、池化层、卷积层、池化层、ReLU层依次堆叠而成，第三特征提取层113和第四特征提取层114均由卷积层、池化层、卷积层、池化层、卷积层、池化层、ReLU层依次堆叠而成。作为特征提取单元，通过前面部分提取浅层特征，而深层网络提取高阶特征。

在一些实施例中，全连接网络30可以包括两个堆叠的全连接层，接收距离度量网络20所输出的距离，由于距离较大表明两张图像相似度较低，距离较小表明两张图像相似度较高，因而通过全连接层的作用可以根据该距离进行是否相似的二分类操作，输出两张待比对的眼底图像的相似度二分类标签。比如，如果两张图像的距离大于预设阈值，则认为不相似，输出0标签；反之，则认为相似，输出1标签。输出的相似度二分类标签可作为轻微高血压眼底的一个初步筛查指标，辅助医生进行后续进一步的判断，优势在于这种初步筛查是快速的、准确率也较高(具体将在后续进行验证)。

由于本发明的模型最终输出的是两张图像相似度的二分类标签，因此需要对两张图像进行特征比对，在本发明实施例中采用“距离”来进行比对衡量相似度。度规是一个函数，它量化了集合中每对元素之间的“距离”，从而引发了相似度的度量。在进行特征比对时，图像特征向量F₁、F₂和度量函数f(F₁,F₂)满足以下条件：

非负性：f(F₁,F₂)≥0

对称性：f(F₁,F₂)＝f(F₂,F₁)

曼哈顿距离，也称为出租车距离或城市街区距离，用以计算两个实值向量之间的距离总和，其形式如下：

d＝∑||x_1i-x_2i||

其中d代表距离，x_1i表示轻微高血压眼底图像(X₁)的特征向量的第i个元素，x_2i表示待检测眼底图像(X₂)的特征向量的第i个元素。对于具有固定较高维数给定的问题，曼哈顿距离度量对于高维应用是最优选的。

对本发明实施例的模型进行训练时，使用了二进制交叉熵损失(BCE Loss)，通过创建一个标准来度量真实标签和输出标签之间的损失函数。度量数据对象间距离的方法，其目标是使得在学得的距离度量下，相似对象间的距离小，不相似对象间的距离大。其中x表示训练集中的一组图像在训练时实际输出的相似度结果，y表示该组图像的真实相似度标签，x_j表示N组图像中第j组图像所实际输出的相似度结果，y_j表示第j组图像的真实相似度标签。BCE Loss用于二进制分类任务，如果使用的是BCE丢失函数，则只需要一个输出节点就可以将数据分类为两个类，这个损失度量创建了一个标准，用于度量真实标签和输出标签之间的BCE(二进制交叉熵)。因此，本发明实施例的损失函数定义如下：

通过定义BCE Loss函数用于将两张为一组的轻微高血压眼底图像进行二进制相似度对比，该任务为该组图像相似度高或低，高则代表两张照片可反映同一种情况，低则表示该组照片并无关联。

对于本发明实施例的模型，可以采用较少的样本进行学习。训练前，对于数据集可以先进行如下的预处理：

1)将数据集的眼底图像限制成具有相同半径的图像；

2)对图像进行去噪处理，比如高斯模糊去噪。每个像素颜色通道中增加128个像素，减去局部平均颜色，并将局部平均映射到50％的灰色。若当原始像素点和滤波像素处理后依然有相同的像素会导致一个均衡的灰色区域。若当原始像素点和滤波像素处理后有明显差异的像素值时，区域的色泽则会更光亮或更暗沉。这取决于原始像素或过滤像素哪个原有强度更高。差异较大的地方则是在在被高斯模糊模糊后的区域最为显著；

3)对图像进行剪切，比如剪切到90％大小，目的是消除边界效果；

4)将数据集分为正负样本，正样本为健康眼底图像，负样本为轻微高血压眼底图像，两张图像为一组，每组图像的标签为：(正，负)＝标签为0，(正，正)＝标签为1，(负，负)＝标签为1。

5)对图像进行随机缩放裁剪、镜像反转或旋转；

6)将数据集以7.5:2.5的比例随机划分为训练集与测试集，训练前由图像转换为向量。

训练时，设置阀损失函数均为BCE Loss，并通过Adam Adaptive MomentEstimation自适应调整学习率。批量大小设为16，学习率设为1×10^-4，数据集以7.5:2.5的比例随机划分为训练集与测试集，训练之前由图像转换为张量，然后对模型进行训练，冻结epoch范围为第0～50次迭代，未冻结epoch范围为第50～100次迭代。下面表1展示了不同Epoch时的性能对比：

表1不同Epoch时的性能对比

从表1可以看出，本发明实施例提出的结合距离度量学习和注意力机制的辨别模型，在迭代训练到第50次时，辨别准确率有了质的提升，在迭代次数达100时，准确率高达93.75％。而不添加注意力机制时，同样的迭代次数，辨别准确率为93.36％，注意力机制主要影响模型训练和运算的复杂度，加入注意力机制可以使得本发明的模型训练次数大大减少，仅需要100次左右的迭代进行少样本学习，即可使模型具有较高的准确率。

对于本发明实施例的模型，可以采用准确率(accuracy)作为评价指标。准确率acc计算如下：

其中，t_p表示分类正确的正样本，t_n表示分类正确的负样本，f_p表示分类错误的负样本，f_n表示漏报的正样本。

根据Mitchell-Wong的高血压眼底评估标准，该数据集大量数据为健康或轻微高血压。由于轻微高血压与健康群体的眼底照片差异性不大，仅有个别的眼底动静脉压迫，因此较难辨别。而采用本发明的模型，在基于距离的相似度度量的基础上，结合包含注意力机制的主干特征提取，在100张眼底照片验证集上评估本发明的辨别相似度，评估结果高达93.75％，极大提高了辨别轻微高血压眼底与健康眼底的准确率。相比Baseline机器学习方法(逻辑回归分类算法)的76.25％的准确率，本发明可提升17.5％的准确率。另外，主干特征提取网络中，通道注意力与空间注意力相结合的注意力机制，极大地降低了网络运算的复杂度、缩短了时间，因此可以使得本发明的模型较快地得出辨别结果。可见，本发明的模型在速度和准确率方面都综合较优。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于，包括：孪生神经网络(10)，连接于所述孪生神经网络(10)输出端的距离度量网络(20)，以及连接于所述距离度量网络(20)输出端的全连接网络(30)；

所述孪生神经网络(10)包括预训练的两个并列的主干特征提取网络，分别用于提取输入的两张待比对的眼底图像的特征向量；其中，所述两个并列的主干提取网络具有相同的网络架构且共享网络参数和权值，并且包含通道注意力机制和空间注意力机制；所述两张待比对的眼底图像包括一张轻微高血压眼底图像(X₁)和一张待检测眼底图像(X₂)；

所述距离度量网络(20)通过距离函数计算所述两个并列的主干特征提取网络所输出的两个特征向量之间的距离；

所述全连接网络(30)根据所述距离输出两张待比对的眼底图像的相似度结果。

2.如权利要求1所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于：所述主干特征提取网络包括由输入端至输出端依次连接的特征提取单元(11)、注意力机制模块(12)和特征输出单元(13)；其中，所述注意力机制模块(12)包括在先的通道注意力池化和在后的空间注意力池化，并且空间注意力池化的输出与所述特征提取单元的输出叠加后作为所述特征输出单元的输入。

3.如权利要求2所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于：所述特征提取单元(11)包括依次串联的第一至第四特征提取层(111、112、113、114)和末尾卷积层(115)；其中，第一特征提取层(111)和第二特征提取层(112)均由卷积层、池化层、卷积层、池化层、ReLU层依次堆叠而成，第三特征提取层(113)和第四特征提取层(114)均由卷积层、池化层、卷积层、池化层、卷积层、池化层、ReLU层依次堆叠而成。

4.如权利要求2所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于：所述特征输出单元(13)由卷积层、池化层、ReLU层依次堆叠而成。

5.如权利要求1所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于：所述全连接网络根据所述距离，进行是否相似的二分类操作，以输出两张待比对的眼底图像的相似度二分类标签。

6.如权利要求1所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于，所述距离函数的形式如下：

d＝∑||x_1i-x_2i||

其中，d表示距离，x_1i表示轻微高血压眼底图像(X₁)的特征向量的第i个元素，x_2i表示待检测眼底图像(X₂)的特征向量的第i个元素。

7.如权利要求1所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于，对所述轻微高血压眼底辨别模型进行训练时，定义损失函数如下：

其中，x表示训练集中的一组图像在训练时实际输出的相似度结果，y表示该组图像的真实相似度标签，x_j表示N组图像中第j组图像所实际输出的相似度结果，y_j表示第j组图像的真实相似度标签。

8.如权利要求7所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于：对所述轻微高血压眼底辨别模型进行训练时，将批量大小设为16，学习率设为1×10^-4，数据集以7.5:2.5的比例随机划分为训练集与测试集，训练之前由图像转换为张量，然后对模型进行训练，冻结epoch范围为第0～50次迭代，未冻结epoch范围为第50～100次迭代。

9.如权利要求8所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于，还包括对所述数据集进行如下的预处理：

1)将数据集的眼底图像限制成具有相同半径的图像；

2)对图像进行去噪处理；

3)对图像进行剪切以消除边界效果；

4)将数据集分为正负样本，正样本为健康眼底图像，负样本为轻微高血压眼底图像，两张图像为一组，每组图像的标签为：(正，负)＝标签为0，(正，正)＝标签为1，(负，负)＝标签为1；

5)对图像进行随机缩放裁剪、镜像反转或旋转。

10.如权利要求8所述的基于少样本学习方法的轻微高血压眼底辨别模型，其特征在于，采用准确率作为模型评估指标，准确率acc计算如下：

其中，t_p表示分类正确的正样本，t_n表示分类正确的负样本，f_p表示分类错误的负样本，f_n表示漏报的正样本。

Images