CN113313714B - 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法 - Google Patents

Abstract

本发明涉及一种基于改进U‑Net网络的冠脉OCT图像病变斑块分割方法。本发明的方法具体步骤如下：1)数据获取；2)数据预处理；3)构建模型；4)模型训练；5)模型评估。本发明向U‑Net模型中引入空间金字塔模块和多尺度空洞卷积模块，可以在保留足够的空间信息的同时，捕获更多高级特征，以提高病变斑块的分割精度。

Description

一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法

技术领域

本发明涉及生物医学图像处理分割的技术，具体是一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法。

背景技术

光学相干断层成像(OCT)是一种非接触、高分辨率层析和生物显微镜成像设备，目前已被广泛应用于冠状动脉粥样硬化斑块评估、优化和指导冠心病介入治疗以及冠状动脉动脉支架植入术后随访多个方面。然而，对于一组完整的冠脉OCT结果序列，其基本情况测量及图像解读需要有经验的临床医生花费一定的时间才能精确评估其结果的临床意义。因此，实现冠脉OCT图像病变斑块的自动化、精细化评估，以提高医生的诊疗效率是一件刻不容缓的事情。

目前，传统分割方法通过提取图像纹理特征实现斑块的分类，因纹理特征仅表示了图像局部区域的特征信息，分割效果欠佳。基于U-Net网络及其改进的系列方法为了提取更高级的特征表达，采用了连续卷积和池化操作，导致图像空间信息的丢失，斑块分割精度不高。本文通过在U-Net网络中引入空间金字塔模块与多尺度空洞卷积模块，在保留足够的空间信息的同时捕获更多高级特征，让网络能够更好地完成病变斑块分割。

发明内容

为解决背景技术中存在的上述技术问题，本发明提供一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，向U-Net模型中引入空间金字塔模块和多尺度空洞卷积模块，可以在保留足够的空间信息的同时，捕获更多高级特征，以提高病变斑块的分割精度。

本发明的技术解决方案是：本发明为一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特殊之处在于：该方法包括以下步骤：

1)数据获取：使用医院采集的冠脉OCT图像作为数据集，数据集中包含了含纤维化斑块、钙化斑块和脂质斑块；将采集的图像数据集划分为训练集和测试集；

2)数据预处理：将原始冠脉OCT图像裁剪到合适大小,并对训练集中的图像进行旋转和翻转的数据增强操作；

3)构建模型：

3.1)在原始U-Net模型基础上，在编码器的末端加入空间金字塔模块，通过采用不同大小的池化操作进一步编码从编码器中提取的目标特征，实现多尺度特征提取；

3.2)对各层编码器的输出执行多尺度空洞卷积操作，再与解码器特征拼接，在保留空间信息的同时下，提取多尺度聚合信息；

4)模型训练：采用PyTorch深度学习框架搭建训练模型，采用Focal Loss损失函数进行模型训练，经过多轮迭代，调整模型参数，提高模型的分割精度；

5)模型评估：采用整体评价指标mIOU和各分类评价指标F1 Score，在模型测试集上完成模型性能的评估，同时与其他病变斑块分割模型进行比较评估。

进一步的，步骤1)中是将采集的图像数据集按照7:3的比例划分为训练集和测试集。

进一步的，步骤2)的具体步骤是将原始冠脉OCT图像裁剪为415x415大小，利用数据增强方法，先对样本进行旋转90°、180°和270°的操作，样本数量变为原来的4倍，再对样本进行水平和垂直翻转操作。

进一步的，步骤3.2)的具体步骤如下：多尺度空洞卷积模块含有四个级联分支，包含扩张率为1，3，5的空洞卷积和3x3的最大池化，另外，还使用快捷连接添加了原始特征；随着扩张率的变化，每个分支的感受野也不断变化，通常，小感受野对于小目标和浅层特征提取更友好，而大感受野则更利于大目标提取和生成更抽象的特征；通过组合不同扩张率的空洞卷积，将不同的感受野相加，在保留各层编码器输出的空间信息的同时下，实现多尺度目标的特征的提取。

进一步的，步骤4)中Focal Loss的公式如下：

pt＝e^-CE(x)

Focal Loss＝-(1-pt)^γ×α×log(pt)

其中y_i为第i个类别对应的真实标签，f_i(x)为对应的经过softmax后的预测结果,C为类别总数，α为类别权重，γ为样本难度权重调因子。

进一步的，步骤5)中F1 Score的具体公式如下

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数。

进一步的，步骤5)中mIOU的具体公式如下：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数,mIOU是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，得到的就是基于全局的评价。

本发明提供的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，通过在U-Net网络中引入空间金字塔模块与多尺度空洞卷积模块，在保留足够的空间信息的同时捕获更多高级特征，让网络能够更好地完成病变斑块分割。本发明的技术方案与现有病变斑块分割技术相比，具有以下优点：

1)多尺度特征的提取：本发明通过采用空间金字塔池化和多尺度空洞卷积，在保留足够空间信息的同时，提取了图像的多尺度特征，进一步提高了模型的分割精度。

2)样本均衡：本发明采用Focal Loss，能够缓解样本比例失衡的问题，通过改进二分类Focal Loss中的交叉熵函数，实现多分类Focal Loss用于模型训练，提高了模型的分割精度。

附图说明

图1为本发明具体实施例的方法流程图；

图2为本发明具体实施例中金字塔模块的结构图；

图3为本发明具体实施例中多尺度空洞卷积模块的结构图。

具体实施方式

本发明的方法包括以下步骤：

1)数据获取：使用医院采集的冠脉OCT图像作为数据集，数据集中包含了含纤维化斑块、钙化斑块和脂质斑块；将采集的图像数据集划分为训练集和测试集；具体是将采集的图像数据集按照7:3的比例划分为训练集和测试集。

2)数据预处理：将原始冠脉OCT图像裁剪到合适大小,并对训练集中的图像进行旋转和翻转的数据增强操作；具体是将原始冠脉OCT图像裁剪为415x415大小，利用数据增强方法，先对样本进行旋转90°、180°和270°的操作，样本数量变为原来的4倍，再对样本进行水平和垂直翻转操作。

3)构建模型：

3.1)在原始U-Net模型基础上，在编码器的末端加入空间金字塔模块，通过采用不同大小的池化操作进一步编码从编码器中提取的目标特征，实现多尺度特征提取；

3.2)对各层编码器的输出执行多尺度空洞卷积操作，再与解码器特征拼接，在保留空间信息的同时下，提取多尺度聚合信息；其中多尺度空洞卷积模块含有四个级联分支，包含扩张率为1，3，5的空洞卷积和3x3的最大池化，另外，还使用快捷连接添加了原始特征；随着扩张率的变化，每个分支的感受野也不断变化，通常，小感受野对于小目标和浅层特征提取更友好，而大感受野则更利于大目标提取和生成更抽象的特征；通过组合不同扩张率的空洞卷积，将不同的感受野相加，在保留各层编码器输出的空间信息的同时下，实现多尺度目标的特征的提取。

4)模型训练：采用PyTorch深度学习框架搭建训练模型，采用Focal Loss损失函数进行模型训练，经过多轮迭代，调整模型参数，提高模型的分割精度；

Focal Loss的公式如下：

pt＝e^-CE(x)

Focal Loss＝-(1-pt)^γ×α×log(pt)

其中y_i为第i个类别对应的真实标签，f_i(x)为对应的经过softmax后的预测结果,C为类别总数，α为类别权重，γ为样本难度权重调因子。

5)模型评估：采用整体评价指标mIOU和各分类评价指标F1 Score，在模型测试集上完成模型性能的评估，同时与其他病变斑块分割模型进行比较评估。

F1 Score的具体公式如下

mIOU的具体公式如下：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数,mIOU是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，得到的就是基于全局的评价。

下面结合附图和具体实施例对本发明作进一步的详细描述：

参见图1，本发明具体实施例，方法步骤如下：

1)获取冠脉OCT图像数据集，本例使用了来自西安交通大学第二附属医院心血管内科两个病人的共576幅医学图像作为实验数据，其中173幅图像作为测试集，其余403幅图像作为训练集。

2)图像预处理，将原始冠脉OCT图像裁剪为415x415大小，利用数据增强方法，先对样本进行旋转90°、180°和270°的操作，样本数量变为原来的4倍，再对样本进行水平和垂直翻转操作。经过数据增强最终得到4836幅图像作为训练集。这样不仅可以增加样本的数量，同时增加了样本的多样性，有利于提高模型的鲁棒性。

3)构建模型，在原始U-Net模型基础上，在编码器的末端加入空间金字塔模块，参见图2，通过采用不同大小的池化操作进一步编码从编码器的末端输出，实现多尺度特征提取。同时，对各层编码器的输出执行多尺度空洞卷积操作，再与解码器特征拼接，参见图3，多尺度空洞卷积模块含有四个级联分支，包含扩张率为1，3，5的空洞卷积和3x3的最大池化，另外，我们还使用快捷连接添加了原始特征。随着扩张率的变化，每个分支的感受野也不断变化，通常，小感受野对于小目标和浅层特征提取更友好，而大感受野则更利于大目标提取和生成更抽象的特征。通过组合不同扩张率的空洞卷积，将不同的感受野相加，在保留各层编码器输出的空间信息的同时下，实现了多尺度目标的特征的提取。

4)模型训练，采用PyTorch深度学习框架搭建训练模型，采用Focal Loss损失函数进行模型训练，经过多轮迭代，调整模型参数，提高模型的分割精度。Focal Loss的公式如下：

pt＝e^-CE(x) (2)

Focal Loss＝-(1-pt)^γ×α×log(pt) (3)

其中y_i为第i个类别对应的真实标签，f_i(x)为对应的经过softmax后的预测结果,C为类别总数，α为类别权重，γ为样本难度权重调因子。

5)模型评估，采用整体评价指标mIOU和各分类评价指标F1 Score，在模型测试集上完成模型性能的评估，同时与其他病变斑块分割模型进行比较评估。mIOU和F1 Score的具体公式如下：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数,mIOU是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，得到的就是基于全局的评价。

本发明内容及上述实施例中未具体叙述的技术内容同现有技术。

本发明不限于上述实施例，本发明内容所述均可实施并具有所述良好效果。

以上，仅为本发明公开的具体实施方式，但本发明公开的保护范围并不局限于此，本发明公开的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：该方法包括以下步骤：

1)数据获取：使用医院采集的冠脉OCT图像作为数据集，数据集中包含了含纤维化斑块、钙化斑块和脂质斑块；将采集的图像数据集划分为训练集和测试集；

2)数据预处理：将原始冠脉OCT图像裁剪到合适大小,并对训练集中的图像进行旋转和翻转的数据增强操作；

3)构建模型：

3.1)在原始U-Net模型基础上，在编码器的末端加入空间金字塔模块，通过采用不同大小的池化操作进一步编码从编码器中提取的目标特征，实现多尺度特征提取；

3.2)对各层编码器的输出执行多尺度空洞卷积操作，再与解码器特征拼接，在保留空间信息的同时下，提取多尺度聚合信息；

4)模型训练：采用PyTorch深度学习框架搭建训练模型，采用Focal Loss损失函数进行模型训练，经过多轮迭代，调整模型参数，提高模型的分割精度；

5)模型评估：采用整体评价指标mIOU和各分类评价指标F1 Score，在模型测试集上完成模型性能的评估，同时与其他病变斑块分割模型进行比较评估。

2.根据权利要求1所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤1)中是将采集的图像数据集按照7:3的比例划分为训练集和测试集。

3.根据权利要求1或2所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤2)的具体步骤是将原始冠脉OCT图像裁剪为415x415大小，利用数据增强方法，先对样本进行旋转90°、180°和270°的操作，样本数量变为原来的4倍，再对样本进行水平和垂直翻转操作。

4.根据权利要求3所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤3.2)的具体步骤如下：多尺度空洞卷积模块含有四个级联分支，包含扩张率为1，3，5的空洞卷积和3x3的最大池化，另外，还使用快捷连接添加了原始特征；随着扩张率的变化，每个分支的感受野也不断变化，通常，小感受野对于小目标和浅层特征提取更友好，而大感受野则更利于大目标提取和生成更抽象的特征；通过组合不同扩张率的空洞卷积，将不同的感受野相加，在保留各层编码器输出的空间信息的同时下，实现多尺度目标的特征的提取。

5.根据权利要求4所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤4)中Focal Loss的公式如下：

pt＝e^-CE(x)

Focal Loss＝-(1-pt)^γ×α×log(pt)

其中y_i为第i个类别对应的真实标签，f_i(x)为对应的经过softmax后的预测结果,C为类别总数，α为类别权重，γ为样本难度权重调因子。

6.根据权利要5所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤5)中F1Score的具体公式如下

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数。

7.根据权利要5所述的基于改进U-Net网络的冠脉OCT图像病变斑块分割方法，其特征在于：所述步骤5)中mIOU的具体公式如下：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数,mIOU是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，得到的就是基于全局的评价。