CN112001921A - 一种基于病灶加权损失函数的新冠肺炎ct影像病灶分割图像处理方法 - Google Patents

Abstract

本发明公开了一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法，包括以下步骤：S1、以ResNet50作为基础网络构建FPN模型实现病灶分割；S2、提出病灶加权损失函数对模型进行训练；S3、利用人工标注的图像对分割模型进行训练；S4、利用训练好的模型实现新冠肺炎病灶的自动分割图像处理。本发明提出基于病灶加权损失函数对分割模型进行训练。该损失函数可对病灶的中心实变区域和边缘区域分别考虑，使模型训练时重点注重对病灶边缘区域的分割，保证对病灶边缘区域的分割精度，进而提升整体的病灶分割精度。

Description

一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像 处理方法

技术领域

本发明涉及一种医疗技术，尤其涉及一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法。

背景技术

突发的新冠肺炎疫情在全球范围内造成了大量的感染和死亡病例，给全球经济造成了巨大损失。在对新冠肺炎患者的监控和治疗过程中，分析患者CT影像中病灶面积的变化对于病情和治疗风险的评估具有重要意义。若通过人工勾画的方式分割CT影像中的病灶，则容易受到不同勾画者主观因素的影响，且薄层CT切片数量较大，消耗大量人力物力。因此，研究全自动的病灶分割图像处理方法对于新冠肺炎病情监控和分析具有重要意义。

现有的基于深度学习的图像分割算法存在以下不足：1）基于区域生长等半自动分割算法依赖用户的交互，如设置种子点等操作，用户使用时工作量较大且速度较慢；2）在进行病灶分割时，病灶中心处的实变组织分割难度较低，但病灶边缘处灰度变化不明显的区域和病灶与肺壁的粘连区域分割难度较大。传统的深度学习方法通常使用Dice系数和交叉熵等损失函数，只考虑了对病灶分割的整体精度，对于病灶边缘处分割难度大的区域未能重点关注，导致分割模型对病灶边缘分割精度低。

因此，需要一种全自动的图像处理分析方法，可不依赖人工交互，且可对病灶的不同位置赋予不同权重，重点关注病灶边缘处难以分割的区域，进而提升全自动病灶分割图像处理的效果。

发明内容

本发明的目的是提供一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法。在模型训练时，可针对病灶不同区域自适应的进行加权，对病灶中心处容易分割的实变组织赋予较小的权重，对病灶边缘处分割难度大的区域赋予较大的权重，最终实现全自动、高精度的病灶分割图像处理，方便推广应用，避免人工勾画感兴趣区域造成的主观性差异和耗费的人力劳动。

为实现上述目的，本发明提供了一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法，包括以下步骤：

S1、构建基于ResNet50的特征金字塔全卷积网络FPN实现病灶分割：

构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出新冠肺炎病灶；

S2、提出病灶加权损失函数对模型进行训练：

在对分割模型进行训练时，使用基于交叉熵损失函数进一步改进得到的病灶加权损失函数，对病灶中心和病灶边缘分别考虑，通过自适应的权重计算公式，加大病灶边缘区域产生的损失，使模型重点关注病灶边缘处难以分割的区域；

S3、利用人工标注的图像对分割模型进行训练：

人工标注CT影像中的新冠肺炎病灶，构建训练集，使用步骤S2中的损失函数对步骤S1所构建的分割模型进行训练；

S4、利用训练好的模型实现新冠肺炎病灶的自动分割图像处理：

在训练好分割模型后，利用训练好的模型实现全自动的新冠肺炎病灶分割图像处理，测试时，将连续的3张CT切片组合成3通道图像，送入训练好的分割模型，即可快速的得到新冠肺炎病灶的分割图像处理结果。

在一个实施方式中，所述S1的具体步骤为：构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出新冠肺炎病灶，所述FPN使用在ImageNet中预训练好权重的ResNt50网络作为基础网络，ResNet50网络由基本的残差块构成，每一个残差块包含堆叠的3x3的卷积层和1x1的卷积层，其中，1x1的卷积层通过跳层连接的方式与3x3的卷积层相加，进行残差学习更好地训练深层卷积神经网络。

在另一个实施方式中，可以使用其他卷积神经网络替代ResNet50网络作为基础模型。

在又一个实施方式中，所述S2的具体步骤为：

在对分割模型进行训练时，使用病灶加权损失函数，具体为：

对于病灶区域内的每一个体素点i，使用下式计算出其对应的权重P_i

其中，N表示背景区域，即病灶以外的组织，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有病灶区域体素点的权重和，用于保证病灶区域内所有体素点的权重之和为1，对于病灶区域内的每一个体素点，若体素点离非病灶组织越远，则其权重越小，若体素点离非病灶组织越近，则其权重越大；

对于非病灶的体素点i，使用下式计算出其对应的权重N_i

其中，P表示病灶区域，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有非病灶区域体素点的权重和，用于保证非病灶区域内所有体素点的权重之和为1，对于非病灶区域内的每一个体素点，若体素点离病灶组织越远，则其权重越小，若体素点离病灶组织越近，则其权重越大；

在计算出病灶区域内每一个体素点的权重P_i和非病灶区域内每一个体素点的权重N_i后，构建病灶加权损失函数进行模型训练，其计算公式如下

其中，xi表示分割模型对每一个体素点预测出的属于病灶的概率，x表示分割模型预测出的属于病灶的总概率，yi表示每一个体素点真实的标签，y表示总的真实的标签，0代表非病灶、1代表病灶，病灶加权损失函数使用病灶加权的交叉熵，对每一个体素点，在计算其交叉熵损失的时候根据其距离病灶边缘的距离进行自适应加权，对于病灶边缘区域赋予较高的权重，对于病灶中心和远离病灶的较容易分割的区域赋予较小的权重，使分割模型在训练时重点关注难度较大的病灶边缘区域，提升分割精度。

在一个优选的实施方式中，所述基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法，包括以下步骤：

S1、构建基于ResNet50的特征金字塔全卷积网络FPN实现病灶分割：

构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出新冠肺炎病灶，所述FPN使用在ImageNet中预训练好权重的ResNet50网络作为基础网络，ResNet50网络由基本的残差块构成，每一个残差块包含堆叠的3x3的卷积层和1x1的卷积层，其中，1x1的卷积层通过跳层连接的方式与3x3的卷积层相加，进行残差学习更好地训练深层卷积神经网络；

S2、提出病灶加权损失函数对模型进行训练：

在对分割模型进行训练时，使用基于交叉熵损失函数进一步改进得到的病灶加权损失函数，对病灶中心和病灶边缘分别考虑，通过自适应的权重计算公式，加大病灶边缘区域产生的损失，使模型重点关注病灶边缘处难以分割的区域，具体为：

对于病灶区域内的每一个体素点i，使用下式计算出其对应的权重P_i

其中，N表示背景区域，即病灶以外的组织，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有病灶区域体素点的权重和，用于保证病灶区域内所有体素点的权重之和为1，对于病灶区域内的每一个体素点，若体素点离非病灶组织越远，则其权重越小，若体素点离非病灶组织越近，则其权重越大；

对于非病灶的体素点i，使用下式计算出其对应的权重N_i

其中，P表示病灶区域，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有非病灶区域体素点的权重和，用于保证非病灶区域内所有体素点的权重之和为1，对于非病灶区域内的每一个体素点，若体素点离病灶组织越远，则其权重越小，若体素点离病灶组织越近，则其权重越大；

在计算出病灶区域内每一个体素点的权重P_i和非病灶区域内每一个体素点的权重N_i后，构建病灶加权损失函数进行模型训练，其计算公式如下

其中，xi表示分割模型对每一个体素点预测出的属于病灶的概率，x表示分割模型预测出的属于病灶的总概率，yi表示每一个体素点真实的标签，y表示总的真实的标签，0代表非病灶、1代表病灶，病灶加权损失函数使用病灶加权的交叉熵，对每一个体素点，在计算其交叉熵损失的时候根据其距离病灶边缘的距离进行自适应加权，对于病灶边缘区域赋予较高的权重，对于病灶中心和远离病灶的较容易分割的区域赋予较小的权重，使分割模型在训练时重点关注难度较大的病灶边缘区域，提升分割精；

S3、利用人工标注的图像对分割模型进行训练：

人工标注CT影像中的新冠肺炎病灶，构建训练集，使用步骤S2中的损失函数对步骤S1所构建的分割模型进行训练；

S4、利用训练好的模型实现新冠肺炎病灶的自动分割图像处理：

在训练好分割模型后，利用训练好的模型实现全自动的新冠肺炎病灶分割图像处理，测试时，将连续的3张CT切片组合成3通道图像，送入训练好的分割模型，即可快速的得到新冠肺炎病灶的分割图像处理结果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的病灶加权损失函数计算示意图。其中，图1a为原始CT影像和人工勾画的病灶区域；图1b为病灶区域的权重分布；图1c为非病灶区域的权重分布。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本发明的实施例一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法的整体流程，包括以下步骤：

S1、构建基于ResNet50的特征金字塔全卷积网络FPN实现病灶分割：

构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出病灶区域。该FPN网络使用在ImageNet中预训练好权重的ResNt50网络作为基础网络。ResNet50网络由基本的残差块构成，每一个残差块包含堆叠的3x3的卷积层和1x1的卷积层，其中，1x1的卷积层通过跳层连接的方式与3x3的卷积层相加，进行残差学习，可更好地训练深层卷积神经网络。为了避免模型出现过拟合，该ResNet50网络使用在ImageNet中预训练好的权重进行初始化。该发明中使用ResNet50作为基础网络构建分割模型，但不限于ResNet50网络，可使用任意卷积神经网络作为基础模型。在构建好ResNet50网络后，通过特征金字塔的形式将ResNet50中的每一个残差块块中的最后一层卷积层的输出抽取出来作为多尺度的特征，然后将不同尺度的特征逐级上采样并进行拼接，最后，通过全卷积网络的方式得到分割出的病灶区域。

S2、提出病灶加权损失函数对模型进行训练：

常用的用于图像分割的卷积神经网络使用交叉熵或Dice系数等损失函数在训练过程中对模型性能进行度量，进而对模型进行优化。但交叉熵和Dice系数等损失函数对图像中所有点的重要性同等对待，对不同位置的体素点计算损失函数的方式均一样。但在新冠肺炎分割任务中，病灶中心通常为实变组织，呈现出高亮度的灰度，这些区域较容易分割；然而，在新冠肺炎病灶边缘，通常表现为磨玻璃或炎症病变，在CT影像中灰度值较低，且呈现絮状，与正常肺组织区分难度较大，且很多病灶与肺壁存在粘连，进一步加大了病灶边缘处的分割难度。因此，本发明提出新的损失函数，可自适应的根据病灶的区域和位置信息对病灶的不同位置赋予不同的权重，在模型训练时，使用这种基于病灶加权的损失函数可以使模型更加集中于病灶边缘处较难分割的地方，进而提升模型的分割精度。在训练过程中，由医生勾画了一部分患者的病灶CT影像作为训练数据，此时，可知道金标准的病灶轮廓，对于病灶区域内的每一个体素点i，使用下式计算出其对应的权重P_i

其中，N表示背景区域（病灶以外的组织），d(i, j)表示体素点i和体素点j的欧式距离。Z是归一化因子，为该图像内所有病灶区域体素点的权重和，用于保证病灶区域内所有体素点的权重之和为1。对于病灶区域内的每一个体素点，若该体素点离非病灶组织越远，则其权重越小，若体素点离非病灶组织越近，则其权重越大；因此，对于病灶中心区域，其距离非病灶组织较远，则其权重较小，而病灶边缘区域，其距离非病灶组织较近，则权重较大。如图1b所示。对于非病灶组织，与病灶边缘有粘连的肺壁区域通常分割难度较大，因此需要对肺壁粘连的病灶区域赋予较大的权重，而对较容易分割的正常肺组织赋予较小的权重。对于非病灶的体素点i，本发明通过下式公式对其权重N_i计算

其中，P表示病灶区域，d(i, j)表示体素点i和体素点j的欧式距离。Z是归一化因子，为该图像内所有非病灶区域体素点的权重和，用于保证非病灶区域内所有体素点的权重之和为1。对于非病灶区域内的每一个体素点，若该体素点离病灶组织越远，则其权重越小，若体素点离病灶组织越近，则其权重越大；因此，对于病灶边缘区域，其距离病灶组织较近，则其权重较大，而远离病灶的区域，其距离病灶组织较远，则权重较小。其示意图如图1c所示。

在计算出病灶区域内每一个体素点的权重P_i和非病灶区域内每一个体素点的权重N_i后，构建病灶加权损失函数进行模型训练，其计算公式如下

其中，xi表示分割模型对每一个体素点预测出的属于病灶的概率，x表示分割模型预测出的属于病灶的总概率，yi表示每一个体素点真实的标签，y表示总的真实的标签，0代表非病灶、1代表病灶，病灶加权损失函数使用病灶加权的交叉熵，对每一个体素点，在计算其交叉熵损失的时候根据其距离病灶边缘的距离进行自适应加权，对于病灶边缘区域赋予较高的权重，对于病灶中心和远离病灶的较容易分割的区域赋予较小的权重，使分割模型在训练时重点关注难度较大的病灶边缘区域，提升分割精度。

S3、利用人工标注的图像对分割模型进行训练：

在构建好S1步骤中的分割网络模型和S2步骤中的病灶加权损失函数后，利用人工标注的病灶图像对分割模型进行训练。训练时，医生选取一部分患者作为训练集，并对CT影像中的新冠肺炎病灶进行标注，将病灶区域置为1，非病灶区域置为0，如图1a所示。在进行训练时，每次将连续相邻的3张CT影像组合成一幅三通道影像，然后输入到步骤S1所构建的分割模型中。在进行模型训练时，使用步骤S2所提出的病灶加权损失函数，并使用随机梯度下降算法（SGD）作为优化器，初始学习率设置为0.005，当训练集上损失函数值不下降时，将学习率自动减为当前学习率的一半，然后继续训练，直到模型收敛，则训练完成。

S4、利用训练好的模型实现新冠肺炎病灶的自动分割：

在训练好分割模型后，利用训练好的模型实现全自动的新冠肺炎病灶分割。测试时，将连续的3张CT切片组合成3通道图像，送入训练好的分割模型，即可快速的得到新冠肺炎病灶的分割结果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于病灶加权损失函数的新冠肺炎CT影像病灶分割图像处理方法，其特征在于：包括以下步骤：

S1、构建基于ResNet50的特征金字塔全卷积网络FPN实现病灶分割：

构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出新冠肺炎病灶；

S2、提出病灶加权损失函数对模型进行训练：

在对分割模型进行训练时，使用基于交叉熵损失函数进一步改进得到的病灶加权损失函数，对病灶中心和病灶边缘分别考虑，通过自适应的权重计算公式，加大病灶边缘区域产生的损失，使模型重点关注病灶边缘处难以分割的区域；

S3、利用人工标注的图像对分割模型进行训练：

人工标注CT影像中的新冠肺炎病灶，构建训练集，使用步骤S2中的损失函数对步骤S1所构建的分割模型进行训练；

S4、利用训练好的模型实现新冠肺炎病灶的自动分割图像处理：

在训练好分割模型后，利用训练好的模型实现全自动的新冠肺炎病灶分割图像处理，测试时，将连续的3张CT切片组合成3通道图像，送入训练好的分割模型，即可快速的得到新冠肺炎病灶的分割图像处理结果。

2.根据权利要求1所述的图像处理方法，其特征在于：所述S1的具体步骤为：构建基于ResNet50的特征金字塔全卷积网络FPN，从CT影像中全自动地分割出新冠肺炎病灶，所述FPN使用在ImageNet中预训练好权重的ResNt50网络作为基础网络，ResNet50网络由基本的残差块构成，每一个残差块包含堆叠的3x3的卷积层和1x1的卷积层，其中，1x1的卷积层通过跳层连接的方式与3x3的卷积层相加，进行残差学习更好地训练深层卷积神经网络。

3.根据权利要求1或2所述的图像处理方法，其特征在于：使用其他卷积神经网络替代ResNet50网络作为基础模型。

4.根据权利要求1或2所述的图像处理方法，其特征在于：所述S2的具体步骤为：

在对分割模型进行训练时，使用病灶加权损失函数，具体为：

对于病灶区域内的每一个体素点i，使用下式计算出其对应的权重P_i

其中，N表示背景区域，即病灶以外的组织，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有病灶区域体素点的权重和，用于保证病灶区域内所有体素点的权重之和为1，对于病灶区域内的每一个体素点，若体素点离非病灶组织越远，则其权重越小，若体素点离非病灶组织越近，则其权重越大；

对于非病灶的体素点i，使用下式计算出其对应的权重N_i

其中，P表示病灶区域，d(i, j)表示体素点i和体素点j的欧式距离，Z是归一化因子，为所述图像内所有非病灶区域体素点的权重和，用于保证非病灶区域内所有体素点的权重之和为1，对于非病灶区域内的每一个体素点，若体素点离病灶组织越远，则其权重越小，若体素点离病灶组织越近，则其权重越大；

在计算出病灶区域内每一个体素点的权重P_i和非病灶区域内每一个体素点的权重N_i后，构建病灶加权损失函数进行模型训练，其计算公式如下

其中，xi表示分割模型对每一个体素点预测出的属于病灶的概率，x表示分割模型预测出的属于病灶的总概率，yi表示每一个体素点真实的标签，y表示总的真实的标签，0代表非病灶、1代表病灶，病灶加权损失函数使用病灶加权的交叉熵，对每一个体素点，在计算其交叉熵损失的时候根据其距离病灶边缘的距离进行自适应加权，对于病灶边缘区域赋予较高的权重，对于病灶中心和远离病灶的较容易分割的区域赋予较小的权重，使分割模型在训练时重点关注难度较大的病灶边缘区域，提升分割精度。

Images