CN111179269A - 一种基于多视图和3维卷积融合策略的pet图像分割方法 - Google Patents

Abstract

一种基于多视图和3维卷积融合策略的PET图像分割方法，包括以下步骤：步骤1，针对3维PET图像的特点修改原始的网络模型,使之适合学习分割3维的PET数据；步骤2，将3维的PET数据进行预处理,使之符合对应网络需要的形状和尺寸,有助于网络的收敛速度和分割的准确性；步骤3，对应预处理方式的数据输入至对应的卷积神经网络中学习,得到对应的模型；步骤4、将测试数据分别输入到预测模型中，将多个模型的预测结果通过一个简单的3维卷积网络进行融合得到测试数据的最终的预测结果。本发明增加了3维数据的信息利用，并通过3维卷积神经网络自适应的融合了2维模型和3维模型的优点,提高了分割的准确率。

Description

一种基于多视图和3维卷积融合策略的PET图像分割方法

技术领域

本发明涉及到一种基于ResUnet多视图和3维卷积融合策略的PET图像分割方法，具体而言，通过3维卷积神经网络融合2维模型和3维模型的预测结果获得更好的更准确的分割结果，本发明属于计算机视觉的图像识别中的图像分割方法，而非医学目的的疾病诊断或治疗方法，是一种PET图像分割方法。

背景技术

淋巴瘤是具有相当异质性的一大类肿瘤，虽然好发于淋巴结，但是由于淋巴系统的分布特点，使得淋巴瘤属于全身性疾病，几乎可以侵犯到全身任何组织和器官。因此，从PET图像中自动的分割淋巴瘤具有较大的挑战性。

PET全称为：正电子发射型计算机断层显像(Positron Emission ComputedTomography)，是核医学领域比较先进的临床检查影像技术，是目前惟一可在活体上显示生物分子代谢、受体及神经介质活动的新型影像技术。目前PET检查85％是用于肿瘤的检查，因为绝大部分恶性肿瘤葡萄糖代谢高，FDG作为与葡萄糖结构相似的化合物，静脉注射后会在恶性肿瘤细胞内积聚起来，所以PET能够鉴别淋巴瘤及正常组织。其机制是，人体不同组织的代谢状态不同，在高代谢的肿瘤组织中葡萄糖代谢旺盛，聚集较多，这些特点能通过图像反映出来，从而可以利用计算机视觉的图像识别技术对图像中的目标进行分割。

随着深度学习在计算机视觉中的广泛应用，语义分割、实例分割、全景分割等新概念与方法的提出为PET图像分割带来了全新的视角。这些分割方法大多基于深度卷积神经网络实现，通过为影像中每一个像素赋予类型标签而实现目标划分，从FCN开始，U-Net、Deeplab、PSPNet、Mask-RCNN等各类网络方法层出不穷，U-Net以其优越的分割性能而在医学图像分割上广为使用。ResUnet将U-Net的特征提取替换为目前特征提取功能优秀的resnet，大幅度提高了分割的准确率。同时由ResUnet扩展的ResUnet-3D可以直接利用3维PET数据进行训练，更多地保留了3维数据的空间信息本发明通过自适应的权重融合2维模型和2维模型的预测结果，聚合了2维模型和3维模型各自的优点。同时将原PET加入融合模型，更多的汇聚了PET原本的信息，达到更高的Dice相似系数指标。

发明内容

本发明的目的是提供一种PET图像的自动分割方法来有选择性的融合3视图方向的2维网络和3维网络各自的优势来获得更好更准确的分割结果，具体是将3维的PET数据沿着长宽高的方向分别分割成3个2维的数据集，将3个2维的数据集分别输入到卷积神经网络中训练，最终会得到3个对应的模型；将3维的PET数据直接输入至3维的卷积神经网络中训练，得到3维神经网络模型，将训练集的预测结果输入至3维融合神经网络中进行训练，学习得到每个模型的预测结果对应的权重。将测试数据同样沿着长宽高方向进行切片，将得到的3个数据集分别输入到对应的网络模型中得到3个对应的预测结果；3维的测试数据直接输入至3维卷积神经网络中得带对应的3维预测结果，最后利用3维融合模型中得到的权重进行加权求和得到最终的分割结果。

本发明解决其技术问题所采用的技术方案是：

一种基于多视图和3维卷积融合策略的PET图像分割方法，包括以下步骤：

步骤1、针对3维PET的成像特点修改ResUnet网络及ResUnet-3D网络模型，使之适合3维PET数据的分割；

步骤2、将3维的训练数据沿3个视图方向进行切片，得到3视图方向的2维数据，并对2维数据和3维的源数据进行相同的归一化方法，使其利于对应网络模型的训练与收敛；

步骤3、将预处理的数据分别输入到各自对应网络中进行训练，得到4个训练完成模型；

步骤4、将各个模型的对训练集的预测结果输入到3维卷积神经网络融合模型中训练各个模型的预测结果所占的权重。

步骤5、将测试数据输入预测模型，得到的4个预测结果与原PET一起输入到融合模型中，得到最终的分割结果。

进一步，所述步骤1中，考虑到输入的图片的分辨率较低，过多的下采样层会导致信息大量丢失，将ResUnet和ResUnet-3D模型的下采样层数减少为3层；又由于淋巴瘤的大小多变，使用二进制交叉熵损失函数不利于收敛，将损失函数改为Dice相似系数损失函数。

再进一步，所述步骤2中，所述数据处理的实现过程为：

为了统一形状使网络更容易训练，将所有3维的PET数据进行裁剪，所有的3维PET数据裁剪成48×96×480的形状，对于2维模型需要结合3个视图方向的信息来提高空间信息的利用率，则需要将3维的PET数据切片成3个视图方向的2维数据，正视图：将3维数据沿宽增大的方向进行切片，得到数量与宽相关，大小为长乘高的2维切片；俯视图：将3维数据沿高增大的方向进行切片，得到数量与高相关，大小为长乘宽的2维切片；左视图：将3维数据沿长增大的方向进行切片，得到数量与长相关，大小为宽乘高的2维切片；对于3维模型，可以直接将3维的PET数据输入，由于3维PET数据的像素值大小超出图片可视范围255，所以将所有的2维PET和3维PET数据进行归一化，将像素值归一化至0到1之间可以加速网络的收敛速度。

更进一步，所述步骤3中，ResUnet和ResUnet-3D网络预测模型网络结构如下：

(1)特征提取：由于PET图低分辨率的特点，在编码阶段减少了下采样的层数，将resnet50的5层下采样层减少为3层，每次下采样通道数翻倍，因为网络使用的是U形结构，需要将每次下采样得到的特征图保存，在跳跃连接时使用；

(2)上采样：使用双线性差值作为上采样方法，每次上采样通道数减半，并与下采样对应的特征图进行拼接，往复循环至分辨率与原图分辨率一致，最后一次上采样得到的通道数为1，使用sigmoid函数进行归一化，将分数转化为概率，以0.5为阈值划分前景和背景；

(3)其他：期间的反向传播中，权重、偏执等的调整都由loss损失函数来确定，通过构造损失函数并进行梯度下降处理，反向传播修正各个参数。

所述步骤4中，3维融合网络为一个单层的3维卷积网络，其1×5的卷积核中的值分别对应4个3维预测结果和一个原图的权重。每个3维结果与原PET分别与对应的权重相乘相加得到最终的分割结果。

本发明的有益效果主要表现在：充分利用深度神经网络特征学习能力可以提取PET图中的淋巴瘤的特征，通过3个视图方向分别进行预测可以大幅度提升3维PET图的利用率，得到更多的空间信息，3维网络更适应3维数据结构的输入，但其缺少预训练模型的缺点会导致训练的不稳定，而融合2维模型和3维模型的预测结果可以结合2维模型和3维模型的优势，使训练结果稳定的同时提高分割的精度，在融合过程加入原PET图以补充训练过程中丢失的原图的细节信息。更改融合方式为3维卷积融合，以自适应的方式获得每个模型所占最终分割结果对应的权重，最后将所有的预测结果与对应的权重求和，得到更准确的预测结果。

附图说明

图1为本发明所述一种基于多视图和3维卷积融合策略的PET图像分割方法的流程图；

图2为本发明所属ResUnet的网络结构图；

图3为本发明所属ResUnet-3D的网络结构图；

图4为实施例中样本图(俯视图方向)；

图5为实施例中样本图(正视图方向)；

图6为实施例中样本图(左视图方向)；

图7为本发明预测效果图(俯视图方向)。

图8为本发明预测效果图(正视图方向)。

图9为本发明预测效果图(左视图方向)。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种基于多视图和3维卷积融合策略的PET图像分割方法，所述方法包括以下步骤：

步骤1，针对淋巴瘤病灶特点设计或修改网络模型，使之适合淋巴瘤的分割；

参照图2在ResUnet网络做修改，使之适合淋巴瘤的分割；

参照图3在ResUnet-3D网络做修改，使之适合淋巴瘤的分割；

(1.1)当以高为切片方向进行切片时，获得的2维切片的分辨率较低，过多的下采样层会导致信息的丢失，我们将ResUnet的下采样层数减少为3层。

(1.2)由于PET图像中正样本(被认为是淋巴癌的像素)和负样本(背景)极不平衡，loss函数应尽量克服这种非平衡性，可以使用Dice损失函数代替交叉熵损失函数。

步骤2，将3维的训练数据沿3个视图方向进行切片，得到3视图方向的2维数据，并对2维数据和3维的原数据进行相同的归一化方法，使其利于对应网络模型的训练与收敛；

参照图3，图4，图5。分别对应同一个3维的PET图在3个视图方向的PET切片。

(2.1)由于分辨率为168×168的PET图像中有许多与分割无关的像素，其像素值为0，我们将3维的PET数据进行了裁剪，将无关的像素去除。裁剪后的3维PET图的大小为48×96×480；

(2.2)在高的方向进行切片，将3维的PET图切成480个48×96的2维图片；在长的方向进行切片，将3维的PET图切成96个48×480的2维图片；在宽的方向进行切片，将3维的PET图切成48个96×480的2维图片。

(2.3)将得到的所有2维图片和3维的数据进行归一化，设X为输入图片，归一化方法

X＝(X-X.min)/(X.max-X.min)

最后得到的PET图，其中图3为正视图中的某一切片，图4为俯视图中的某一切片，图5为左视图的某一切片

步骤3，将预处理的数据分别输入到各自对应网络中进行训练，得到4个训练完成模型；

参照图6，图7，图8。分别对应图3，图4，图5的预测结果，其中的红色代表真实标签中是淋巴瘤的像素，但网络预测为正常的像素。绿色代表网络预测维淋巴瘤，但真实标签中是正常的像素。黄色代表真实标签是淋巴瘤并且网络也预测维淋巴瘤的像素。

分别将预处理的3个视图方向的2维PET图输入到修改后的ResUnet中进行训练，预处理的3维PET输入至修改后的ResUnet-3D中进行训练，其中随机选取80个病人的数据当做训练集，29个病人的数据作为测试集。经过ResUnet的编码器和解码器，输出的预测结果经过sigmoid函数后被归一化至0到1间连续的值，将该预测结果与标签计算Dice损失，再将计算所得的损失反向传播更新参数。当模型在验证集上20个epoch，Dice没有上升时停止训练。

将测试数据同样做相同的处理后分别输入至训练结束后得到的对应的模型中分别得到4个对同一个3维PET的预测结果(X，Y，Z，3D)。4个预测结果分别结合了各个方向的空间信息和3维的直接信息，我们将信息进行合并，aX+bY+cZ+d3D+ePET作为最后的预测结果进行输出。其中的a，b，c，d，e由步骤4中的3维融合网络训练得到

所述步骤3中，ResUnet神经网络对数据集进行训练，实现淋巴瘤预测，采用ResUnet神经网络，将预处理后的数据集和对应的标签作为ResUnet神经网络的输入，进行网络训练后，得到最终的预测模型；ResUnet神经网络预测模型网络参数如下：

(1)优化器：使用pytorch框架中的Adam函数，其中初始学习率为0.0001，权重衰减为0；

(2)激活函数：选择ReLU作为激活函数，该激活函数在反向传播时梯度为1，不会发生梯度爆炸和梯度消失的问题；

(3)评价标准：在医学图像中一般不用准确率来作为评价指标，因为其负样本太多，正样本所占的比例少，准确率很难描述正样本分割的好坏。Dice相似系数是医学上很常用的评价标准，因为它更专注与预测的正样本和真实的正样本之间的交集和并集，不太关注于负样本分割的好坏，所以选用Dice相似系数作为评价的指标；

(4)损失函数：通常的分割方法采用交叉熵作为分割任务的损失函数，但在该任务中，正负样本极度不均衡，导致用交叉熵做损失函数会得到一个很小的loss，从而导致回传时更新幅度小，但Dice相似系数却不大的情况。而Dice相似系数作为损失函数更能把握预测与真实相交的部分，更易于优化。

Dice损失函数公式如下；

(5)归一化：ResUnet中选择BN作为归一化方法，能将每一层的输出都变为均值为0，方差为1的相同分布，通过这种方式避免梯度爆炸和梯度消失。BN的具体公式如下：

其中，X为BN层的输入，E[X]代表输入特征的期望，Var[X]代表输入特征的方差，为了不降低神经网络的特征表达能力，对每个神经元引入调节参数a和b，a和b由神经网络自动调整，Y是BN层的输出。

ResUnet-3D的归一化方式为(Group Normalization)GN，通过在group上归一化至0到1之间，主要可以解决3维数据占显存大导致的batch小的问题。

所述步骤4中，将各个模型的对训练集的预测结果输入到3维卷积神经网络融合模型中训练各个模型的预测结果所占的权重。具体为：获得3个2维网络的预测结果和3维网络的预测结果，将预处理后的PET数据与4个网络预测的结果一起输入到一个3维融合网络中，该网络由一个3维的卷积层构成，分别对输入的5个3维数据做一次卷积，其中卷积核的形状为1×5，初始化权重为(1,1,1,1,0)，分别代表每个模型的预测结果在最终结果中所占的比重，PET初始所占比重为0，权重在网络学习中进行改变，3维融合网络的输出就是最终的分割结果。

Claims (5)

1.一种基于多视图和3维卷积融合策略的PET图像分割方法，其特征在于，所述方法包括以下步骤：

步骤1、针对3维PET的成像特点修改ResUnet网络及ResUnet-3D网络模型，使之适合3维PET数据的分割；

步骤2、将3维的训练数据沿3个视图方向进行切片，得到3视图方向的2维数据，并对2维数据和3维的源数据进行相同的归一化方法，使其利于对应网络模型的训练与收敛；

步骤3、将预处理的数据分别输入到各自对应网络中进行训练，得到4个训练完成模型；

步骤4、将各个模型的对训练集的预测结果输入到3维卷积神经网络融合模型中训练各个模型的预测结果所占的权重；

步骤5、将测试数据输入预测模型，得到的4个预测结果输入到融合模型中，得到最终的分割结果。

2.根据权利要求1所述的一种基于多视图和3维卷积融合策略的PET图像分割方法，其特征在于：所述步骤1中，考虑到输入的图片的分辨率较低，过多的下采样层会导致信息大量丢失，将ResUnet和ResUnet-3D模型的下采样层数减少为3层；又由于淋巴瘤的大小多变，使用二进制交叉熵损失函数不利于收敛，将损失函数改为Dice相似系数损失函数。

3.根据权利要求1或2所述的一种基于多视图和3维卷积融合策略的PET图像分割方法，其特征在于：所述步骤2中，所述数据预处理的实现过程为：

为了统一形状使网络更容易训练，将所有3维的PET数据进行裁剪，所有的3维PET数据裁剪成48×96×480的形状；对于2维模型需要结合3个视图方向的信息来提高空间信息的利用率，则需要将3维的PET数据切片成3个视图方向的2维数据；正视图：将3维数据沿宽增大的方向进行切片，得到数量与宽相关，大小为长乘高的2维切片；俯视图：将3维数据沿高增大的方向进行切片，得到数量与高相关，大小为长乘宽的2维切片；左视图：将3维数据沿长增大的方向进行切片，得到数量与长相关，大小为宽乘高的2维切片；对于3维模型，可以直接将3维的PET数据输入，由于3维PET数据的像素值大小超出图片可视范围255，所以将所有的2维PET和3维PET数据进行归一化，将像素值归一化至0到1之间可以加速网络的收敛速度。

4.根据权利要求1或2所述的一种基于多视图和3维卷积融合策略的PET图像分割方法，其特征在于：所述步骤3中，ResUnet和ResUnet-3D网络预测模型网络结构如下：

(1)特征提取：由于PET图低分辨率的特点，在编码阶段减少了下采样的层数，将resnet50的5层下采样层减少为3层，每次下采样通道数翻倍，因为网络使用的是U形结构，需要将每次下采样得到的特征图保存，在跳跃连接时使用；

(2)上采样：使用双线性差值作为上采样方法，每次上采样通道数减半，并与下采样对应的特征图进行拼接，往复循环至分辨率与原图分辨率一致，最后一次上采样得到的通道数为1，使用sigmoid函数进行归一化，将分数转化为概率，以0.5为阈值划分前景和背景；

(3)其他：期间的反向传播中，权重、偏执等的调整都由loss损失函数来确定，通过构造损失函数并进行梯度下降处理，反向传播修正各个参数。

5.根据权利要求1或2所述的一种基于多视图和3维卷积融合策略的PET图像分割方法，其特征在于：所述步骤4中，3维融合网络为一个单层的3维卷积网络，其1×5的卷积核中的值分别对应4个3维预测结果和一个原图的权重，每个3维结果与原PET分别与对应的权重相乘相加得到最终的分割结果。

Images