CN111986210B - 一种医学影像小病灶分割方法 - Google Patents

Abstract

本发明公开了一种医学影像小病灶分割方法,包括由粗略分割第一阶段、细化第二阶段和分割错误区域的注意力模块构成分割网络，在第一阶段的训练中使用五折交叉验证；在交叉验证期间，训练集的每个样本都将包含在验证集中，所有样本都有机会被视为验证集的数据并在相应训练集上训练的模型上进行测试；然后将第一阶段预测的结果与真实分割的结果进行比较，得到的差异就反应了模型难以预测的部分，将不匹配信息作为第二阶段的监督；在第二阶段将信息增强特征输入到DA模块中，使用注意力机制，从而加强网络的分割精度。

Description

一种医学影像小病灶分割方法

技术领域

本发明属于计算机视觉的语义分割领域，涉及一种医学影像小病灶分割方法。

背景技术

语义分割算法：语义分割算法是针对图像上每一个像素的分类，是像素级别的问题，因此在训练集中需要对图像的每个像素附加一个标签。用公式来表示即为：从标签空间L＝{l₁,l₂,l₃,…,l_k}表示一组随机变量X＝{x₁,x₂,x₃,…,x_N}。每个标签l表示不同的类或对象，例如，飞机、汽车、交通标志等。这个标记空间具有k个可能的状态，这些状态通常扩展到k+1个，并将l和0作为背景或空类。x表示图像的像素，像素个数为N。目前应用广泛的语义分割网络都是基于FCN来进行改进的。FCN网络利用CNNs在图像上的强大学习能力提出了一个全卷积化概念，将现有的一些常用分类深度网络模型如VGG16、GoogLeNet等网络的全连接层全部用卷积层来替代，这样做的好处最终输出的结果是一张图片而不是一维向量，实现了端对端的语义分割；其次，通过去除全连接层能实现任意大小图片的输入，从而保证输入与输出图片大小相等。由于卷积层后接有池化层，池化层又称下采样层，会对图片的分辨率大小产生影响。为了保证输入图片与输出图片的大小相等，FCN网络使用反卷积的方式进行上采样以维持图片的分辨率。

注意力机制：注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：

·决定需要关注输入的哪部分。

·分配有限的信息处理资源给重要的部分。

在计算机视觉领域，注意力机制被引入来进行视觉信息处理。注意力是一种机制，或者方法论，并没有严格的数学定义。比如，传统的局部图像特征提取、显著性检测、滑动窗口方法等都可以看作一种注意力机制。在神经网络中，注意力模块通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。

计算机视觉的研究领域的一大热点研究课题是语义分割，而针对3D图像的语义分割在医疗图像领域取得了长足的发展。3D医疗图像的语义分割一般是将3D的CT或MRI图像进行逐像素的分类，从而达到分割病灶区域或器官的目的。

参考文献

[1]Long J,Shelhamer E,Darrell T.Fully convolutional networks forsemantic segmentation[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2015:3431-3440.

[2]Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks forbiomedical image segmentation[C]//International Conference on Medical imagecomputing and computer-assisted intervention.Springer,Cham,2015:234-241.

[3]Wang C,MacGillivray T,Macnaught G,et al.A two-stage 3D Unetframework for multi-class segmentation on full resolution image[J].arXivpreprint arXiv:1804.04341,2018.

[4]Wang Y,Deng Z,Hu X,et al.Deep attentional features for prostatesegmentation in ultrasound[C]//International Conference on Medical ImageComputing and Computer-Assisted Intervention.Springer,Cham,2018:523-530.

发明内容

为了解决现有语义分割技术中存在的3D小目标分割精度不够的技术问题，本发明提出一种结合了分散注意力机制的3D卷积网络DANet，可以更好的分割病变区域。提出的DANet具有两阶段的类U结构，第1阶段进行粗略分割，并在第2阶段完成细化。此外，为了使模型对干扰区域更敏感，这些干扰成分将在第1阶段收集，然后用作第2阶段的监督部分。首先，在第一阶段的训练中使用五折交叉验证。在交叉验证期间，训练集的每个样本都将包含在验证集中。因此，所有样本都有机会被视为验证集的数据并在相应训练集上训练的模型上进行测试；然后将第一阶段预测的结果与真实分割的结果进行比较，得到的差异就反应了模型难以预测的部分，将不匹配信息作为第2阶段的监督；最后，在第二阶段将信息增强特征输入到DA模块中，使用注意力机制，从而加强网络的分割精度。

本发明的技术方案:

一种医学影像小病灶分割方法,包括由粗略分割第一阶段、细化第二阶段和分割错误区域的注意力模块构成分割网络，所述分割网络如下步骤实现医学

影像小病灶分割：

S1，所述第一阶段网络将采样处理后的原始图像进行五折交叉验证的方式训练获得每一个训练数据的分割结果；

S2，将第一阶段网络获得的预测分割结果与真实的分割结果进行对比生成网络预测出错的区域；

S3,对所述网络预测错误的区域信息进行增强；使预测错误的区域更容易被学习；

S4，所述第二阶段的网络对裁剪后的原始图像进行训练与结合分割错误区域的注意力模块获得分割病变区域的网络模型。

进一步，所述分割错误区域的注意力模块通过如下步骤实现分割病变区域的网络模型：

2.1将增强后的分割错误区域输入到注意力模块，通过注意力模块后得图像每一个像素的权重矩阵，得到权重矩阵的公式如下：

上式中g表示将网络经过跳过连接后的特征和经过增强的错误区域的特征连接起来，φ₁代表对操作g后得到的特征进行1*1*1的线性变换，最后

是用来得到图像每个像素的权重矩阵；

2.2将权重矩阵与解码器中该层的图像相乘，即得到了注意力机制的特征图，将该特征图输入下一层解码器；经过530个左右的迭代获得分割病变区域的网络模型。

进一步，所述网络分割错误区域增强的步骤：

3.1使用全局平均池化将网络分割错误区域中特征图压缩获得全局特征向量；

3.2采用重复模式对全局特征向量进行采样到与原始图像相同的大小区域；最终将网络分割错误区域的信息扩展到整个原始图像。

与现有技术相比，本发明具有的优点：

与现有技术相比，本发明提出来的结合注意力机制的3D图像语义分割方法：

1)性能提高：经过测试3D-UNet以及其他三个U型网络，与3D-UNet相比，DANet的准确度提升了24％，如图3所示。

2)本发明所提出的网络是针对3D图像中的小目标分割。目前针对医疗影像的语义分割算法大多都集中在对器官的分割，针对小型病灶的分割比较少。本发明所提出的网络针对小目标分割得到的错误区域较多的特点，使用注意力机制对分割错误的区域增加权重，最后得到的预测分割结果比通常使用的语义分割网络的精度高。

附图说明

图1为本发明一种结合注意力机制的小目标语义分割方法的流程图。

图2为本发明与经典的U-Net的网络结构对比图。

图3为本发明与其他U型网络的准确度对比图。

图4为本发明训练得到的模型测试后与其他网络的预测结果对比图。

具体实施方式

结合附图1对本发明的技术方案作进一步说明。

如图1所示，本发明提供一种医学影像小病灶分割方法,包括由粗略分割第一阶段、细化第二阶段和分割错误区域的注意力模块构成分割网络，所述分割网络如下步骤实现医学影像小病灶分割：

S1，所述第一阶段网络将采样处理后的原始图像进行五折交叉验证的方式训练获得每一个训练数据的分割结果；其中，第一阶段的训练采用五折交叉验证的方式，得到预测分割结果，步骤如下：

1)将图像进行降采样以输入到网络中训练，降采样使用的方法是maxpooling。Pooling是一种非线性的运算，可以增强模型的非线性能力，比起使用线性变换的卷积操作，模型的效果更好，而maxpooling保留了纹理特征；

2)原始图像的训练集按照五折交叉验证的方法训练模型，最后得到每一个训练集数据的预测分割结果。

S2，将第一阶段网络获得的预测分割结果与真实的分割结果进行对比生成网络预测出错的区域；

S3,对所述网络预测错误的区域信息进行增强；使预测错误的区域更容易被学习；

首先，使用前景区域上的全局平均池化将特征图压缩为特征向量。通过全局平均池化，可以获得全局特征。获得全局特征向量，进而，将以重复模式将全局特征向量上采样到与原始图像相同的大小。使用此模式，可以将模型分割错误区域的信息扩展到整个图像。

S4，所述第二阶段的网络对裁剪后的原始图像进行训练与结合分割错误区域的注意力模块获得分割病变区域的网络模型。其中：将原始图像裁剪后输入第二阶段的网络中进行训练，结合对分割错误区域的注意力模块，最后得到可以分割病变区域的网络模型DANet，步骤如下：

1)将增强后的分割错误区域输入到注意力模块，通过注意力模块后得图像每一个像素的权重矩阵，得到权重矩阵的公式如下：

上式中g表示将网络经过跳过连接后的特征和经过增强的错误区域的特征连接起来，φ₁代表对操作g后得到的特征进行1*1*1的线性变换，最后

是用来得到图像每个像素的权重矩阵；

2)将步骤1)中得到的权重矩阵与解码器中该层的图像相乘，即得到了注意力机制的特征图，将该特征图输入下一层解码器。最后经过530个左右的迭代获得最后的分割模型。

Claims (2)

1.一种医学影像小病灶分割方法,其特征在于，包括由粗略分割第一阶段、细化第二阶段和分割错误区域的注意力模块构成分割网络，所述分割网络如下步骤实现医学影像小病灶分割：

S1，所述第一阶段网络将采样处理后的原始图像进行五折交叉验证的方式训练获得每一个训练数据的分割结果；

S2，将第一阶段网络获得的预测分割结果与真实的分割结果进行对比生成网络预测出错的区域；

S3,对所述网络预测错误的区域信息进行增强；使预测错误的区域更容易被学习；

S4，所述第二阶段的网络对裁剪后的原始图像进行训练与结合分割错误区域的注意力模块获得分割病变区域的网络模型；其中：

所述分割错误区域的注意力模块通过如下步骤实现分割病变区域的网络模型：

2.1、将增强后的分割错误区域输入到注意力模块，通过注意力模块后得图像每一个像素的权重矩阵，得到权重矩阵的公式如下：

式中：上式中g表示将网络经过跳过连接后的特征和经过增强的错误区域的特征连接起来，φ₁代表对操作g后得到的特征进行1*1*1的线性变换，最后

是用来得到图像每个像素的权重矩阵；

2.2、将权重矩阵与解码器中图像相乘，即得到了注意力机制的特征图，将该特征图输入下一层解码器；经过530个左右的迭代获得分割病变区域的网络模型。

2.根据权利要求1所述的一种医学影像小病灶分割方法，其特征在于：所述网络分割错误区域增强的步骤：

3.1使用全局平均池化将网络分割错误区域中特征图压缩获得全局特征向量；

3.2采用重复模式对全局特征向量进行采样到与原始图像相同的大小区域；最终将网络分割错误区域的信息扩展到整个原始图像。

Images