CN114494289A - 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法 - Google Patents

Abstract

本发明涉及计算机医学图像处理领域，提出了一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法。包括步骤：对输入的3D肿瘤切片和对应肿瘤标签切片输入局部插值网络进行插值；输入多尺度级联分割网络进行肿瘤分割，对结果进行可视化。本发明易于实现，提高了图像质量和肿瘤切片的数量，减少了相邻切片之间的肿瘤差异，并尽可能避免漏检。利用本发明可以有效缓解肿瘤边界的模糊标注问题，并在有限的计算条件下处理不同的肿瘤图像特征，显着提高了图像分辨率。

Description

一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割 处理方法

技术领域

本发明涉及计算机医学图像处理领域。

背景技术

胰腺肿瘤是一种诊治难度大的疾病，一年生存率不足20％，五年生存率为9％。

CT/MR具有更高的软组织分辨率，可以识别对比图案，成为胰腺肿瘤诊断的常规方法之一。但是，由于扫描仪精度的限制，相邻切片之间的间距很大。即使是经验丰富的放射科医师，通过仔细比较相邻切片来检测肿瘤也需要大量时间，对于小肿瘤，漏检是不可避免的。此外，厚CT/MR的大间距加剧了胰腺肿瘤自动分割的难度。因此，利用切片间插值，CT/MR图像上胰腺肿瘤的自动分割不仅可以帮助医生确定肿瘤的大小、形态和位置，还可以为后续的诊断提供可靠的依据。

近年来，深度学习在医学图像处理中得到广泛应用，在胰腺肿瘤分割方面取得了突破性进展。Y.Zhou等人采用双路径网络，其中并行流与超连接互连，以在动脉期和静脉期CT图像之间进行密集的信息交换。该研究报告称，在239例胰腺导管腺癌(PDAC)病例中，有63.94％的病例被诊断为胰腺癌。类似地，Y.Lang等人采用了基于方窗的卷积神经网络(CNN)架构和三个卷积层块。它通过融合三相DCE-MRI，分别是造影前、动脉和静脉图像。然而，多阶段数据难以获得，上述模型不能用于单阶段胰腺肿瘤分割任务。多相数据也给模型带来了复杂性，需要大量的计算资源。由于医学图像上的肿瘤分割困难，尤其是胰腺肿瘤，越来越多的研究使用插值来增强图像。F.Isensee等人使用自动插值作为预处理方法来减轻分割任务中体素的各向异性。此外，越来越多的基于深度学习的分割方法着眼于插值带来的改进。J.Zhang等人提出了一种半自动方法，结合高斯加权欧几里德距离的先验知识和非线性插值来增强腿部分割的MR。

发明内容

有鉴于此，本发明目的在于克服现有技术生成的大间距厚CT/MR分辨率低、CT/MR图像切片之间的连续性较差以及小肿瘤模糊边界带来的不确定性等问题，公开一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法。

本发明技术方案：

一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法包括步骤：

步骤1数据集准备：

从医院中获取数据集，包括3D的MR切片图像和经过标注的肿瘤分割标签作为数据集。

步骤2训练优化：

2.1将步骤1获取的原始切片图像和标签分为两两一组，表示为x_i-1和x_i+1，同时输入到待训练的片间插值网络(已有结构，简称“网络一”)中。以原始切片图像和插值得到的切片图像的结构相似度损失作为评价指标来，对“网络一”进行训练。“网络一”能得到切片间插值切片，表示为x_i，让3D的MR切片序列间更加连续。

2.2接下来合并步骤2.1插值得到的切片x_i和切片x_i-1、x_i+1得到切片序列。将其中的肿瘤标签切片输入概率图生成器中，生成肿瘤标签的概率图，用于提供给步骤2.3；

2.3将MR切片序列输入到待训练的多尺度级联网络(已有结构，简称“网络二”)中，根据肿瘤的特征，输出肿瘤概率图。将“网络二”输出的肿瘤概率图和步骤2.2提供的肿瘤标签概率图的均方误差作为评价指标，对“网络二”进行训练。

步骤3预测病理切片和可视化：

3.1将病理切片输入训练后的“网络一”进行片间插值，得到插值后的病理切片序列提供步骤3.2；

3.2输入插值后的病理切片序列进入训练后的“网络二”，输出的肿瘤概率图，根据设置的阈值(判定该位置是否为肿瘤的概率边界值)，对MR图像中的肿瘤进行分割，并将结果可视化。

本发明的有益效果是：

本发明提出的基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法易于实现，提高了图像质量和肿瘤切片的数量，减少了相邻切片之间的肿瘤差异，并尽可能避免漏检。插值后的图像减轻了肿瘤变化带来的影响，如肿瘤大小和位置的变化。利用本发明可以有效缓解肿瘤边界的模糊标注问题，并在有限的计算条件下处理不同的肿瘤特征，显着提高了图像分辨率，作为医学检测技术方案，可为医生的后续治疗提供准确的依据。

附图说明

图1是本发明实施3D胰腺MR图像上肿瘤分割的总流程图。

图2是本发明实施训练优化的流程图。

图3是本发明实施预测病理切片和可视化的流程图。

图4(a)是训练“网络一”和“网络二”的工作流图。

图4(b)是片间插值神经网络的网络结构。

图4(c)是多尺度级联神经网络的网络结构。

图4(d)是进行肿瘤分割预测的工作流图。

图5(a)(b)是胰腺肿瘤的四个案例示意图。

图6(a)是含有肿瘤的CT/MR的切片示意图。

图6(b)是由外科医生标注的肿瘤位置(用白色标注)示意图。

图6(c)是本发明生成的肿瘤位置概率图。

图7是本发明的片间插值结果的示意图。

图8是由本发明实现三个案例的胰腺肿瘤分割结果的示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。

下面通过实施例结合附图进一步说明本发明。图1给出了本发明的整体流程图，共分为两个步骤，分别是：对输入的MR肿瘤切片和对应肿瘤标签切片输入局部插值网络进行插值和输入多尺度级联分割网络进行肿瘤分割，对结果进行可视化。

图1是本发明实施3D胰腺MR图像上肿瘤分割的总流程图。

图2是本发明实施对输入的3D肿瘤切片和对应肿瘤标签切片输入局部插值网络进行插值的流程图。

图3是本发明实施进行肿瘤分割，对结果进行可视化的流程图。

图4(a)是训练“网络一”和“网络二”的工作流图。图4(b)是片间插值神经网络的网络结构。图4(c)是多尺度级联神经网络的网络结构。图4(d)是进行肿瘤分割预测的工作流图。

工作流如图4(a)：

步骤1，数据集准备，具体实施过程如下：

从医院中获取数据集，包括3D的MR切片图像和经过标注的肿瘤分割标签作为数据集。

步骤2，训练优化，具体实施过程如下：

2.1将步骤1获取的原始切片图像和标签分为两两一组，同时输入到待训练的片间插值网络(已有结构，简称“网络一”)中。以原始切片图像和插值得到的切片图像的结构相似度损失作为评价指标来，对“网络一”进行训练。“网络一”能得到切片间插值切片，让3D的MR切片序列间更加连续。

2.1.1“网络一”由密集连接模块、子像素卷积模块、下采样模块和局部线性嵌入模块组成，如图4(b)，其中输入的切片表示为x_i＝{x_i1,x_i2,…,x_id}，输出的插值切片表示为

2.1.2将肿瘤MR图像和肿瘤标签的切片按照顺序分为三个一组，中间的切片作为标签，将剩下的两个切片输入“网络一”，经过密集连接模块和子像素卷积模块后，进行上采样将结果继续输入密集连接模块和子像素卷积模块；

2.1.3将步骤2.1.2的结果进行上采样，结果输入密集连接模块并通过2x2的卷积进行下采样；

2.1.4将步骤2.1.3的结果输入密集连接模块并通过2x2的卷积进行下采样，将采样结果输入密集连接模块，得到输入切片x_i的每个维度值的K个近邻点，分别为

表示第i个切片的第j个维度值的K个近邻点；

2.1.5将步骤2.1.4的结果进行线性组合得到插值切片；

2.1.5.1首先计算局部协方差矩阵

其中

表示一个由K个相同的x_ij组成的向量，x_ij表示第i个切片的第j个维度的值，

表示步骤1得到的第i个切片的第j个维度的K个近邻点；

2.1.5.2接下来计算K个近邻点的权重

其中1_K＝[1,1,…,1]∈R^K，S_ij表示步骤1.2.1得到的协方差矩阵；

2.1.5.3通过K近邻点的带权线性和计算出插值切片

的各个维度值

其中

表示步骤1.2.2得到的近邻点的权重，

表示步骤1得到的第i个切片的第j个维度的K个近邻点；

2.1.6将插值得到的切片与标签切片比较，计算损失值，计算方式如下：

其中，

和Y分别表示插值得到的切片和标签切片，

和μ_Y分别为

和Y的像素均值，

和σ_Y分别为

和Y的像素标准差，

表示

和Y的像素协方差，C₁、C₂、C₃为常数，|Ω|表示所有插值切片的像素值之和，f(x)表示将样本x输入片间插值神经网络得到的输出值，e₁、e₂、e₃分别表示三维空间的三个基向量；

2.1.7根据步骤1.2.5计算得到的损失值，更新网络参数，完成训练；

2.2接下来合并插值得到的切片和原始切片，将肿瘤标签切片输入概率图生成器中，生成肿瘤标签的概率图；

2.3将MR切片序列输入到待训练的多尺度级联网络(已有结构，简称“网络二”)中，根据肿瘤的特征，输出肿瘤的概率图。将输出的概率图和数据标签的肿瘤概率图的均方误差作为评价指标，对“网络二”进行训练。

2.3.1“网络二”由卷积层、下采样层和上采样层组成，如图4(c)；

2.3.2将步骤2.2得到的肿瘤切片序列，组成大小为64³的块，输入“网络二”。首先通过下采样将大小为64³的块，转换为成四个不同的尺度：64³、32³、16³和8³；

2.3.3将步骤2.3.2得到的大小为32³的块输入卷积层，输出的结果与大小为64³的块通过下采样得到的大小为32³的块融合得到新的大小为32³的块；

2.3.4将步骤2.3.2得到的大小为16³的块输入卷积层，输出的结果与步骤2.3.3中得到的大小为32³的块通过下采样得到的大小为16³的块融合得到新的大小为16³的块。

2.3.5将步骤2.3.2得到的大小为8³的块输入卷积层，输出的结果与步骤2.3.4中得到的大小为16³的块通过下采样得到的大小为8³的块融合得到新的大小为8³的块；

2.3.6将步骤2.3.3得到的大小为32³的块输入卷积层，输出的结果经过下采样与步骤2.3.4中得到的大小为16³的块融合得到新的大小为16³的块；

2.3.7将步骤2.3.6得到的大小为16³的块经过下采样与步骤2.3.5中得到的大小为8³的块融合得到新的大小为8³的块；

2.3.8将步骤2.3.6得到的大小为16³的块经过下采样与步骤2.3.7中得到的大小为8³的块融合得到新的大小为8³的块；

2.3.9将步骤2.3.8得到的大小为8³的块经过三次上采样得到新的大小为64³的块，通过结果生成预测的概率图；

2.3.10将训练的肿瘤标签输入概率图生成器生成对应的肿瘤概率图；

2.3.11比较标签的肿瘤概率图与预测的肿瘤概率图，计算损失值；

其中，n为样本数量，y为标签值，y_i为预测得到的结果

2.3.12根据步骤2.3.11计算得到的损失值，更新网络参数，完成训练

步骤3，预测病理切片和可视化，具体实施过程：

3.1将病理切片输入“网络一”进行片间插值如图4(d)，提供步骤3.2；

3.2输入插值后的病理切片序列进入“网络二”，输出的肿瘤概率图如图4(d)，根据设置的阈值(判定该位置是否为肿瘤的概率边界值)，对MR图像中的肿瘤进行分割，并将结果可视化。

依次按照图示流程和模型结构，给出一组实施例。

实施例

首先将3D肿瘤切片和肿瘤标签切片输入线性插值网络，结合局部线性嵌入对插值切片和对应的相邻切片之间的关系进行建模。片间插值网络由密集连接模块、子像素卷积模块、下采样模块和局部线性嵌入模块组成。首先对片间插值神经网络进行训练，从医院中获取真实的MR肿瘤切片和对应的标注切片。将得到的切片分为三个一组，中间的切片作为标签，将其余的两个切片输入片间插值神经网络，经过密集连接模块和子像素卷积模块后，进行上采样将结果继续输入密集连接模块和子像素卷积模块。再次进行上采样后，结果输入密集连接模块并通过2x2的卷积进行下采样。下采样的结果再次输入密集连接模块并通过2x2的卷积进行下采样。最后将下采样的结果输入密集连接层后，得到插值切片每个维度值的K个近邻点。通过计算K个紧邻点的权重并按照权重线性组合，得到两个切片之间的线性插值切片。利用定义的损失函数，计算插值切片与标签之间的损失值，根据损失值更新片间插值神经网络的参数，完成训练。接下来，将需要进行肿瘤分割的样本输入训练好的片间插值神经网络中，得到插值后的切片序列。利用插值后的MR肿瘤切片和标签，对多尺度级联神经网络进行训练。多尺度级联分割网络由卷积层、下采样层和上采样层组成。首先通过概率图生成器将插值得到的切片转换为概率图作为标签，同时网络也以概率图的形式输出预测结果。每个输入的三维切片的大小为64，通过下采样层被汇集成四个不同的尺度：64、32、16和8。通过卷积合并肿瘤不同尺度的特征结果，特征提取网络最终得到一个大小为8的特征图。将特征图进行上采样并合并后，得到图6(c)中的肿瘤概率图作为神经网络的输出。通过均方误差的方式计算预测值与标签之间的误差，更新多尺度级联神经网络的参数，训练神经网络。接下来，将需要进行肿瘤分割的样本输入训练好的多尺度级联神经网络中，输出肿瘤的概率图。通过设置的概率阈值将肿瘤分割出来，并将结果可视化。

Claims (5)

1.一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法，其特征在于：包括步骤：

步骤1数据集准备：

从医院中获取数据集，包括3D的MR切片图像和经过标注的肿瘤分割标签作为数据集；

步骤2训练优化：

2.1将步骤1获取的原始切片图像和标签分为两两一组，表示为x_i-1和x_i+1，同时输入到待训练的片间插值网络中，简称“网络一”；以原始切片图像和插值得到的切片图像的结构相似度损失作为评价指标来，对“网络一”进行训练；“网络一”能得到切片间插值切片，表示为x_i，让3D的MR切片序列间更加连续；

2.2接下来合并步骤2.1插值得到的切片x_i和切片x_i-1、x_i+1得到切片序列。将其中的肿瘤标签切片输入概率图生成器中，生成肿瘤标签的概率图，用于提供给步骤2.3；

2.3将MR切片序列输入到待训练的多尺度级联网络中，简称“网络二”，根据肿瘤的特征，输出肿瘤概率图；将“网络二”输出的肿瘤概率图和步骤2.2提供的肿瘤标签概率图的均方误差作为评价指标，对“网络二”进行训练；

步骤3预测病理切片和可视化。

2.如权利要求1所述的一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法，其特征在于：

所述步骤2.1：

2.1.1“网络一”由密集连接模块、子像素卷积模块、下采样模块和局部线性嵌入模块组成，其中输入的切片表示为x_i＝{x_i1,x_i2,…,x_id}，输出的插值切片表示为

2.1.2将肿瘤MR图像和肿瘤标签的切片按照顺序分为三个一组，中间的切片作为标签，将剩下的两个切片输入“网络一”，经过密集连接模块和子像素卷积模块后，进行上采样将结果继续输入密集连接模块和子像素卷积模块；

2.1.3将步骤2.1.2的结果进行上采样，结果输入密集连接模块并通过2x2的卷积进行下采样；

2.1.4将步骤2.1.3的结果输入密集连接模块并通过2x2的卷积进行下采样，将采样结果输入密集连接模块，得到输入切片x_i的每个维度值的K个近邻点，分别为

表示第i个切片的第j个维度值的K个近邻点；

2.1.5将步骤2.1.4的结果进行线性组合得到插值切片；

2.1.5.1首先计算局部协方差矩阵

其中

表示一个由K个相同的x_ij组成的向量，x_ij表示第i个切片的第j个维度的值，

表示步骤1得到的第i个切片的第j个维度的K个近邻点；

2.1.5.2接下来计算K个近邻点的权重

其中1_K＝[1,1,…,1]∈R^K，S_ij表示步骤1.2.1得到的协方差矩阵；

2.1.5.3通过K近邻点的带权线性和计算出插值切片

的各个维度值

其中

表示步骤1.2.2得到的近邻点的权重，

表示步骤1得到的第i个切片的第j个维度的K个近邻点；

所述步骤2.1.6将插值得到的切片与标签切片比较；

2.1.7根据步骤1.2.5计算得到的损失值，更新网络参数，完成训练。

3.如权利要求1所述的一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法，其特征在于：

所述步骤2.3：

2.3.1“网络二”由卷积层、下采样层和上采样层组成；

2.3.2将步骤2.2得到的肿瘤切片序列，组成大小为64³的块，输入“网络二”；首先通过下采样将大小为64³的块，转换为成四个不同的尺度：64³、32³、16³和8³；

2.3.3将步骤2.3.2得到的大小为32³的块输入卷积层，输出的结果与大小为64³的块通过下采样得到的大小为32³的块融合得到新的大小为32³的块；2.3.4将步骤2.3.2得到的大小为16³的块输入卷积层，输出的结果与步骤2.3.3中得到的大小为32³的块通过下采样得到的大小为16³的块融合得到新的大小为16³的块；

2.3.5将步骤2.3.2得到的大小为8³的块输入卷积层，输出的结果与步骤2.3.4中得到的大小为16³的块通过下采样得到的大小为8³的块融合得到新的大小为8³的块；

2.3.6将步骤2.3.3得到的大小为32³的块输入卷积层，输出的结果经过下采样与步骤2.3.4中得到的大小为16³的块融合得到新的大小为16³的块；

2.3.7将步骤2.3.6得到的大小为16³的块经过下采样与步骤2.3.5中得到的大小为8³的块融合得到新的大小为8³的块；

2.3.8将步骤2.3.6得到的大小为16³的块经过下采样与步骤2.3.7中得到的大小为8³的块融合得到新的大小为8³的块；

2.3.9将步骤2.3.8得到的大小为8³的块经过三次上采样得到新的大小为64³的块，通过结果生成预测的概率图；

2.3.10将训练的肿瘤标签输入概率图生成器生成对应的肿瘤概率图；

2.3.11比较标签的肿瘤概率图与预测的肿瘤概率图，计算损失值；

其中，n为样本数量，y为标签值，y_i为预测得到的结果2.3.12根据步骤2.3.11计算得到的损失值，更新网络参数，完成训练。

4.如权利要求1所述的一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法，其特征在于：

所述步骤3：

3.1将病理切片输入训练后的“网络一”进行片间插值，得到插值后的病理切片序列提供步骤3.2；

3.2输入插值后的病理切片序列进入训练后的“网络二”，输出的肿瘤概率图，根据判定该位置是否为肿瘤的概率设置的边界值，对MR图像中的肿瘤进行分割，并将结果可视化。

5.如权利要求2所述的一种基于局部线性嵌入的插值神经网络的胰腺肿瘤分割方法，其特征在于：

所述步骤2.1.6将插值得到的切片与标签切片比较，计算损失值，计算方式如下：

其中，

和Y分别表示插值得到的切片和标签切片，

和μ_Y分别为

和Y的像素均值，

和σ_Y分别为

和Y的像素标准差，

表示

和Y的像素协方差，C₁、C₂、C₃为常数，|Ω|表示所有插值切片的像素值之和，f(x)表示将样本x输入片间插值神经网络得到的输出值，e₁、e₂、e₃分别表示三维空间的三个基向量。

Images