CN115496902A

CN115496902A - 基于改进的上下文编码网络的微动脉瘤病变分割方法

Info

Publication number: CN115496902A
Application number: CN202211140005.5A
Authority: CN
Inventors: 叶汉民; 王迎雪
Original assignee: Guilin University of Technology
Current assignee: Guilin University of Technology
Priority date: 2022-09-19
Filing date: 2022-09-19
Publication date: 2022-12-20

Abstract

为了更有效地检测出在糖尿病视网膜上发生的微动脉瘤病变，本发明提出了一种基于改进的密集空洞卷积模块的上下文编码网络，通过对糖尿病视网膜病变图片的特征进行提取，提高微动脉瘤检测的准确性。改进的密集空洞卷积模块是将开始的分支从网络中删除，并新加入一个包含更多空洞卷积块的分支，使空洞卷积率r依次递增，感受野也随着r的增加而增加。该网络能够提取不同尺寸的特征，将糖尿病视网膜图片的微动脉瘤病变分割出来。实验是在印度糖尿病视网膜病变图像数据集(IDRID)上进行的。实验结果表明，与许多先进方法相比，本发明方法实现了更小的误差和更高的分割精度。

Description

基于改进的上下文编码网络的微动脉瘤病变分割方法

技术领域

本发明涉及一种能够提取糖尿病视网膜中微动脉瘤病变特征的深度学习方法，该方法是将特征编码模块、基于改进的密集空洞卷积的上下文编码模块和特征解码模块组合到一起，从而对糖尿病视网膜病变图片进行分割的改进上下文编码网络框架。

背景技术

糖尿病视网膜病变是一种常见的影响眼睛的糖尿病并发症，发生在视网膜血管异常改变时，是发达国家劳动适龄人口失明的主要原因之一。作为一种微血管疾病，糖尿病视网膜病变一开始可能不会引起任何症状，或者只是轻微的视力问题，如果没有及时治疗或者采取合适的方法，可能就会导致视网膜损伤，甚至会造成眼睛失明的严重后果。因此，对糖尿病视网膜病变进行早期诊断和治疗可以减少视力丧失和失明的可能性，这对糖尿病患者来说至关重要。而糖尿病视网膜病变在不同阶段导致的特征性病变有多种，早期通常没有明显的症状，但其数量和严重程度主要随时间增加。糖尿病视网膜病变通常始于视网膜毛细血管的微小变化，最先能够检测到的异常是微动脉瘤病变(Microaneurysms,MA)，它是由视网膜毛细血管的局部扩张引起的红色圆形小区域，分布在视网膜上的各个位置，检测起来较为困难，但一旦检测出来对检测其他病变的位置也有帮助，因此检测MA意义重大。

在图像分割领域，使用传统的卷积神经网络对图像进行处理时，要先对图像做卷积再进行池化操作，这样可以在降低图像尺寸的同时增大感受野，但是由于图像分割预测一般是像素级别的输出，因此后面要把前一步池化后尺寸较小的图像上采样到原始的尺寸进行预测。简单来说，就是先通过池化操作减小图像尺寸增大感受野，再通过上采样操作扩大图像尺寸。在这样先减小再增大图像尺寸的过程中，会导致图像细节信息被丢失，小物体信息将无法被重建。对于糖尿病视网膜病变数据集来说，一些微小的病变将无法被检测到，从而无法被分割出来。为了解决这个问题，我们使用了空洞卷积的方法，在不做池化操作损失信息的情况下，增大了感受野，让每个卷积输出都包含较大范围的信息。

空洞卷积可以被用于明确控制在深卷积神经网络中计算特征响应的分辨率，也可以根据图像的实际情况有效地扩大卷积层中过滤器的视野，以便在不增加参数数量或计算量的情况下合并更大的上下文信息。空洞卷积的主要思想是在卷积核的像素之间插入“洞”(零)来提高图像分辨率，从而实现深度卷积神经网络中密集的特征提取。在数学上可以被定义为：

ResNet架构自2015年诞生以来，在训练神经网络的最佳实践方面取得了重大进展，新的优化和数据扩充提高了训练方法的有效性，可以训练更深层次神经网络。并且ResNet架构增加了快捷连接机制，避免了梯度消失，加快了网络收敛，快捷连接机制还可以显著增加初始网络的训练速度。

残差多核池化模块(Residual Multi-kernel Pooling，RMP)是基于空间金字塔池化(Spatial Pyramid Pooling，SPP)的思想所使用的，用来提取和处理不同尺寸大小的图片。RMP采用了四个不同大小的池化操作，分别是2×2、3×3、5×5和6×6。这四个池化操作就包含不同大小的特征图。为了降低权重的维数和计算成本，在每个级别的池化之后使用1×1卷积。它将特征映射的维数降为原始维数的N分之一，其中N表示原始特征映射中的通道数。然后对低维特征图进行上采样，通过双线性插值得到与原始特征图大小相同的特征。最后，将原始特征与上采样的特征映射连接起来。

发明内容

为了更好地提取微动脉瘤病变的特征，本发明在原始网络的以级联方式堆叠的空洞卷积块的基础上，删除第一个分支，并新加入一个包含更多空洞卷积块的分支，使空洞卷积率随之增加，并且感受野随着空洞卷积率的增加而增加，构成改进的密集空洞卷积块。经过实验证明，本发明方法对图片的分割准确率变高，有很好的效果。

主要技术方案包括：根据现有技术存在的问题，本发明使用了一种基于改进的上下文编码网络对糖尿病视网膜病变图片中的微动脉瘤病变进行特征提取。首先，本文所使用的数据集是印度糖尿病视网膜病变图像数据集(IDRID)，该数据集一共包含81张有微动脉瘤病变症状的彩色眼底图像和相对应的标签图像，并将其分为训练集和测试集。

其次，在数据集预处理阶段，将训练集和测试机的图像的像素都调整为512×512，接着进行数据增强，包括随机水平翻转、随机垂直翻转以及随机旋转90度等操作，通过这样的方式，原始数据集中的每一幅图像都被扩充到8幅图像，大大增加了可使用的图像的数量。

然后，使用改进的网络架构处理图片。该网络架构分为三部分，分别是特征编码模块、上下文提取模块和特征解码模块。特征编码模块使用了U-Net架构，并将U-Net架构的下采样部分即左边的收缩路径换成经过预训练的ResNet-34；上下文提取模块是由密集空洞卷积模块和残差多核池化模块(RMP)组成的；特征解码模块用于恢复从特征编码模块和上下文提取模块中提取的高层语义特征，包含了1×1卷积和3×3反卷积运算。

接着，设置损失函数与优化器，并设置超参数如：学习率，权重衰减率，学习率的衰减策略，批次大小等。在最后使用交并比(Intersection over Union,IoU)、准确率(Accuracy，Acc)和敏感性(Sensitivity，Sen)三个指标对结果进行判断。IoU表示一个分类良好的类的像素与该类的所有像素加上该类的另一类像素的分数，就是标签与预测的交集和并集的比值。Acc是指在所有样本图片中做出正确预测的比例，也可以说是实验中正确预测样本图片的数量与所有预测样本图片数量的比值。Sen是指正确预测的正样本图片的数量与所有的实际就是正样本图片的数量的比值。

在训练阶段，使用带有改进密集空洞卷积模块的上下文编码网络模型对IDRID数据集进行训练，产生一个最佳模型并保存，如图1。在测试阶段，使用最佳模型对测试数据集图片进行分割，生成测试集图片的预测标签，并与医生手工标注的标签图片进行比较计算出结果，如图2。

最后，实验结果表明，经过改进的网络所产生的IoU值、Acc和Sen都是最高的，有最好的分割效果。

附图说明

下面是该方法主要的附图。

图1是本发明方法训练过程的流程图。

图2是本发明方法测试过程的流程图。

图3是改进的密集空洞卷积模块的结构图。

图4是基于改进密集空洞卷积的上下文编码网络的总体结构图。

图5是为本方法与不同方法的对比。

图6是本发明方法与其他方法分割结果图的对比。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

首先，对密集空洞卷积模块进行改进，使该网络框架更适合于提取微小且分散的微动脉瘤病变特征。本发明将原方法中的第一个分支删除，新加入一个包含更多块的分支，使空洞卷积率r也随之增加，变成了从1到3、5和7，感受野也随着r的增加而增加，如图3。虽然使用的全部是3×3卷积，卷积核只有3，但是当多个带有不同r的空洞卷积核叠加时，就可以达到较大卷积核同样的效果，并且没有增加网络复杂度和参数计算量，不同的感受野也会带来多尺度的信息,还不会增加整个网络的计算量。

该模块最终一共有四个级联分支，是随着空洞卷积的数量而逐渐增加的。在分支的末尾，采用一个1×1卷积进行校正线性激活。从图3中可以看出，第一个分支有一个块，第二个分支有两个块，第三个分支有三个块，第四个分支有四个块，每个块都紧密有序地排列在一起，通过这样的方法可以更有效地进行密集的特征提取。这种操作不仅可以提高训练速度并且促使信息传递地更加流畅，还可以通过跳过连接隐式地利用和融合来自不同尺度的信息。

其次，使用带有改进密集空洞卷积模块的上下文编码网络处理图片，整体架构如图4。每张图片的输入尺寸统一设置为512×512。在训练阶段，如图所示，先设置一个最小损失值，然后用训练过程中产生的损失值与最小损失值比较，当损失值小于最小损失值时，保存此时生成的模型，该模型即为此次的最佳模型。在测试阶段，如图，计算IoU、Acc和Sen值，并与在检测微动脉瘤病变方面取得较好效果的架构模型，比如全卷积网络架构(FCN)、SegNet架构、U-Net架构以及原始的网络架构的结果进行比较，获得该实验的总体结果。

最后，比较不同方法的实验结果。图5展示了五种方法在微动脉瘤病变上的分割结果，从图5中可以看出，本文所使用的方法的IoU最高，达到了11.30％，比其他方法都高出不少，且可以从图中看出本发明的分割准确率和敏感性最高，说明了本文使用的方法的分割效果最好，即提取特征的效果最好。图6是各方法的分割结果图与标签的对比，可以看出本发明使用的方法分割出的动脉瘤病变更加完整和清晰，证明了本发明能够有效地检测出微动脉瘤病变。

Claims

1.一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，包括：特征编码模块，改进的上下文提取模块，特征解码模块；其中特征编码模块使用的是经过预训练的ResNet-34，可以更好地获取初步有效特征层；其次，上下文提取模块由改进的密集空洞卷积模块和残差多核池化模块(Residual Multi-kernel Pooling，RMP)组成，通过这个部分可以利用和融合来自不同尺度的特征，以提高医学图像分割的性能；特征解码模块用于恢复从特征编码模块和上下文提取模块中提取的高层语义特征，并最终生成预测图。

2.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述特征编码模块是将U-Net架构的下采样部分即左边的收缩路径换成经过预训练的ResNet-34，经过ResNet的四次卷积操作，图片的通道数由64变为128、256和512；该部分保留了前四个特征提取块，加快了网络收敛，并且快捷连接机制可以显著增加初始网络的训练速度；因此使用经过预训练的ResNet-34作为主干特征提取部分。

3.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述改进的上下文提取模块包含改进的密集空洞卷积模块和RMP；改进的密集空洞卷积模块以级联方式堆叠，一共有四条分支，是随着空洞卷积块的数量而逐渐增加，第一个分支有一个块，第二个分支有两个块，第三个分支有三个块，第四个分支有四个块，每个块都紧密有序地排列在一起；在这个过程中空洞卷积率r随之增加，从1到3、5和7；在分支的末尾，采用一个1×1卷积进行校正线性激活；RMP主要使用四个不同大小的感受野对全局上下文信息进行编码，在每一级合并后使用1×1卷积以减少权值的维数和计算量，然后对低维特征图进行上采样，通过双线性插值得到与原始特征图大小相同的特征；最后，我们将原始特征与上采样特征映射连接起来；通过这样的方法可以更有效地进行不同尺寸特征的提取。

4.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述特征解码模块包含了1×1卷积和3×3反卷积运算，通过跳过连接操作，从编码器到解码器可以直接获取一些关于图像的详细信息，以弥补由于连续池化和跨步卷积操作而导致的信息丢失。

5.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，对所述微动脉瘤病变训练集图片进行训练，输出该过程中最佳的模型；接着使用最佳的模型对测试集图片进行预测，得出结果。

6.根据权利要求5所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述方法还包括将图片进行翻转、旋转、对比度增强、亮度增强、色彩增强的数据增强方式。

7.根据权利要求5所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述方法选择了合适的损失函数，在实验过程中调整学习率，采用IoU、准确率和敏感性作为预测结果。

8.根据权利要求6所述的一种基于改进上下文编码网络的微动脉瘤分割方法，其特征在于，所述方法对微动脉瘤图片进行归一化处理，具体包括：读取每一张图片的像素参数，将图片进行缩小以实现物理尺寸统一。