CN111047594B - 肿瘤mri弱监督学习分析建模方法及其模型 - Google Patents

Abstract

本发明公开了一种肿瘤MRI弱监督学习分析建模方法，包括以下步骤：S1：构建以全卷积神经网络为基础的肿瘤MRI分割网络，实现肿瘤MRI初步分割；S2：将肿瘤MRI分割网络作为生成器，分类模型作为判别器，提出肿瘤MRI分割网络的生成对抗训练算法；S3：将医学图像中的未标注图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，增强分割‑生成对抗网络稳定性。还公开了一种利用所述肿瘤MRI弱监督学习分析建模方法建立的模型。本发明方法能够在较少训练样本情况下，更加精确地自动分割出肿瘤靶区和危及器官，应用于肿瘤放射治疗的靶区和危及器官勾画。

Description

肿瘤MRI弱监督学习分析建模方法及其模型

技术领域

本发明涉及机器学习及肿瘤放射技术领域，特别是涉及一种肿瘤MRI弱监督学习分析建模方法及其模型。

背景技术

放射治疗是现代肿瘤治疗的主要手段，其基本目标是实现放射治疗增益比的最大化，即最大限度地将放射线剂量集中到计划靶区(Planning Target Volume，PTV)内，在杀灭肿瘤细胞的同时，保护周围正常组织和危及器官(Organs at Risk，OARs)少受或免受不必要的照射。为实现这一目标，首先在患者断层图像中勾画肿瘤病灶，称为大体肿瘤体积(Gross Tumor Volume，GTV)，在此基础上扩大一定区域，以包括病灶周边的亚临床灶，称为临床靶区，最后在基础上进一步扩大范围，以适应放射治疗过程中误差，生成计划靶区。因此，GTV的分割关系到后续靶区的精度，精准勾画PTV和OARs是精确制定放射治疗计划的基本保证，是肿瘤放射治疗的关键问题之一。临床上主要依靠临床放疗医生手工勾画肿瘤GTV，不仅效率低，而且主观性强，导致勾画结果不精确，影响放射治疗计划的精确性和治疗的疗效。因此，有必要提供肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法，为精确制定放疗计划、实现精准放疗提供基础保障。

深度学习(Deep learning,DL)的概念由Hinton等人于2006年提出，是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。深度学习在以自然图像为分析处理对象的计算机视觉任务中展示了卓越的性能，已远超传统机器学习方法，尤其随着训练数据集的不断扩展，其预测精度仍在不断提升。但将深度学习方法成功应用到肿瘤放射治疗靶区和危及器官智能化、自动化勾画中仍具有很大挑战性，主要体现在以下几个方面：(1)医学图像只有强度值，而且通常信噪比较低，各组织器官解剖结构、病灶区域之间的分界线并不清晰，纹理差异也不大，因此，医学图像分析比自然图像分析更困难；(2)目前计算机视觉中的很多分类任务是图像级，而放疗中的医学图像需要做像素、体素级。例如肿瘤调强放射治疗计划要求从医学图像中高精度地分割出肿瘤放疗靶区及其周围正常组织器官。而且异常病灶区域(肿瘤)非常复杂，其出现的位置、大小、形状个体差异很大，因而异常病灶区检测、识别和分割比正常组织器官更具挑战性；(3)深度学习的成功很大程度上依赖于有监督深度学习，依赖于带有人工标注的超大规模的学习训练样本数据集。然而，医学图像数据集的标注需要大量的专业知识和时间，不同机构和机器的图像采集差异也导致数据分辨率、图像噪声和组织外观等方面存在很大的差异，获取大规模的有效数据集十分困难，特别对病灶样本数据集，因为其变化很大，且需要临床专家标注，可用的标注数据规模要小很多。目前主流的深度学习方法大多是基于卷积神经网络的有监督学习。然而，获取用于监督学习的标注数据是深度学习方法应用于医学数据分析的一大挑战。因此，研究医学图像弱监督学习方法，在目前已标记训练数据有限的情况下，充分利用医学图像中的非标注图像，解决小训练数据集的挑战是实现肿瘤放射治疗靶区和危及器官智能化、自动化勾画的难点。

磁共振成像(Magnetic Resonance Imaging,MRI)是人体组织器官和病灶中的氢原子核在外部强磁场作用下产生的磁共振信号大小的度量,并通过计算机对体外核磁共振信号探测器接收到的信息数据进行3D图像重建。MRI技术可以高质量地绘制人体内部组织结构的立体图像，对人体没有电离辐射损伤，现在被广泛的应用到临床医学中。因此，以肿瘤MRI为研究对象，运用深度学习理论和方法，充分利用MRI多模态非标注图像，建立肿瘤MRI弱监督学习分析模型，以实现精准放射治疗计划系统的多器官自动勾画能力。

发明内容

本发明所要解决的技术问题是提供一种肿瘤MRI弱监督学习分析建模方法及其模型，能够实现基于弱监督学习分析建模方法的肿瘤靶区和危及器官的自动勾画。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种肿瘤MRI弱监督学习分析建模方法，包括以下步骤：

S1：构建以全卷积神经网络为基础的肿瘤MRI分割网络，实现肿瘤MRI初步分割；

S2：将肿瘤MRI分割网络作为生成器，分类模型作为判别器，提出肿瘤MRI分割网络的生成对抗训练算法；

S3：将医学图像中的未标注图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，增强分割-生成对抗网络稳定性。

在本发明一个较佳实施例中，步骤S1的具体步骤包括：

S101：对MRI原始数据进行图像预处理；

S102：对肿瘤MRI分割网络的卷积层采用带步长卷积以提取肿瘤MRI特征，并允许空间下采样；

S103：采用基于反卷积的上采样操作，找到每个体素对应的类别，实现分割效果。

进一步的，所述肿瘤MRI分割网络由两个部分构成，即处理输入MRI图像的编码器部分及用于产生标签输出的解码器部分；输入的是3D肿瘤MRI体数据，输出每一个体素点属于正常组织与肿瘤的概率。

在本发明一个较佳实施例中，针对肿瘤MRI分割网络中，MRI肿瘤、不同正常组织的体素点不平衡性的问题，采用加权损失函数，定义如下：

其中，p_i表示体素点i预测概率值，g_i表示体素点i真实类别。

在本发明一个较佳实施例中，在步骤S2中，通过肿瘤MRI分割网络的生成对抗训练算法生成的对抗模型中，分割-生成式对抗网络损失函数L由两部分组成，第一部分是用于训练分割模型的改进Dice损失函数，第二部分为均方误差损失函数：

其中s表示分割模型的参数，d表示判别模型的参数，s(x_n)是分割模型的输出概率图，L_d选用均方误差作为判别器的损失函数。

在本发明一个较佳实施例中，所述医学图像中的未标注图像数据包括多模态MRI数据、电子病历、医生专家的文本报告中的临床诊疗信息。

在本发明一个较佳实施例中，在步骤S3中，假设额外输入条件信息为y，通过肿瘤MRI分割网络的生成对抗训练算法生成的对抗模型中，分割-生成式对抗网络的目标函数表示为基于条件概率的极小极大值博弈，如下式：

其中，G表示生成器模型，D是判别器模型，z表示随机噪声。

进一步的，所述判别器与生成器的更新次数为1:2。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种所述肿瘤MRI弱监督学习分析建模方法建立的模型，主要包括：

图像导入和显示模块，用于导入病人的三维体数据，显示参考图像与浮动图像的横断面、冠状面、矢状面图像；

预处理模块，用于对医学图像进行图像处理、增强图像质量；

感兴趣区域模块，用于采用基于掩模的方法以提取感兴趣区域；

分割模块，用于通过构建以全卷积神经网络为基础的肿瘤MRI分割网络，并将其作为生成器，分类模型作为判别器，在已标记训练数据有限情况下，利用医学图像中的非标注图像，实现肿瘤放射治疗靶区和危及器官智能化、自动化勾画；

数据输出模块，用于显示分割后靶区和危及器官。

本发明的有益效果是：本发明方法能够在较少训练样本情况下，更加精确地自动分割出肿瘤靶区和危及器官，应用于肿瘤放射治疗的靶区和危及器官勾画：

(1)考虑正常组织、肿瘤的体素点不平衡性，提出加权损失函数，采用改进的带步长卷积技术提取肿瘤MRI特征，MRI图像增强方法扩展数据集，构建以全卷积神经网络为基础的肿瘤MRI分割网络，实现肿瘤MRI初步分割；

(2)将肿瘤MRI分割网络作为生成器，分类模型作为判别器，提出肿瘤MRI分割网络的生成对抗训练算法，使得肿瘤MRI分割网络通过对抗训练生成更加精确的分割结果；

(3)充分利用医学图像中的未标注图像，使得分割-生成对抗网络更适应小样本数据集，同时将未标注图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，增强分割-生成对抗网络的稳定性，实现基于弱监督学习分析建模方法的肿瘤自动分割。

附图说明

图1是本发明肿瘤MRI弱监督学习分析建模方法的流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种肿瘤MRI弱监督学习分析建模方法，包括以下步骤：

S1：构建以全卷积神经网络为基础的肿瘤MRI分割网络，实现肿瘤MRI初步分割；具体步骤包括：

S101：对MRI原始数据进行图像预处理，包括图像处理、增强图像质量等；

S102：对肿瘤MRI分割网络的卷积层采用带步长卷积以提取肿瘤MRI特征，并允许空间下采样；

S103：采用基于反卷积的上采样操作，找到每个体素对应的类别，实现分割效果。

与传统的卷积神经网络相比，肿瘤MRI分割网络应满足以下几个特点：

1)肿瘤MRI分割网络输入为3D MRI体数据；

2)肿瘤MRI分割网络能够处理数量相对较少的已标注的有效MRI数据集；

3)肿瘤MRI分割网络具有调节不同正常组织、肿瘤体素点不平衡性的能力。

因此，肿瘤MRI分割模型一方面采用卷积神经网络中的卷积操作，利用MRI局部相关性，并且大大减少了参数数量。正因为卷积在图像处理方面的优势，有必要利用卷积神经网络处理肿瘤MRI。另一方面，传统卷积神经网络中的池化过程会导致图像部分细节丢失，这使得卷积神经网络不能直接应用于肿瘤MRI分割，因此，采用基于反卷积的上采样操作，找到每个体素对应的类别，实现分割效果。

肿瘤MRI分割网络由两个部分构成，即处理输入MRI图像的编码器部分及用于产生标签输出的解码器部分。输入的是3D肿瘤MRI体数据，输出每一个体素点属于正常组织与肿瘤的概率。3D数据量大将增大网络测试的时间开销，同时训练网络的性能受到图像块大小影响，因此采用端到端的全卷积神经网络，将3D MRI体数据作为网络的输入并生成相应大小的输出，其本质上是一种编码器-解码器网络。编码器和解码器各网络层采用高速连接通道，进一步加速肿瘤MRI模型的训练和优化，确保在训练集较小的情况下，也能得到较好结果。

卷积层采用带步长卷积以提取肿瘤MRI特征，并允许空间下采样；解码器部分采用上采样将缩小的特征放大到原始大小，并采用卷积操作丰富特征信息，以保证肿瘤MRI端到端输出。假设分割类别为C，那么解码后是一个C通道的卷积分类层，拟采用Softmax激活函数，输出所有体素点归属于某类别的概率。

在肿瘤MRI分割中，不同正常组织、肿瘤的体素点并不平衡，如肿瘤在MRI图像中像素点相对较少。因此肿瘤MRI分割模型应考虑MRI肿瘤、不同正常组织的体素点不平衡性，提出加权损失函数，定义如下：

其中，p_i表示体素点i预测概率值，g_i表示体素点i真实类别。从公式(1)可以看出,函数的分子部分表示的是预测体素点和真实体素点的交集，分母表示的是两个区域各自的面积平方。如果在模型的训练过程中忽略了不平衡类别，p_i的值小，分子部分值就很小，L_s值接近1，那么不平衡类别上的损失函数相对于其他类别较大，将具有更强的反向传播梯度。

S2：将肿瘤MRI分割网络作为生成器，分类模型作为判别器，提出肿瘤MRI分割网络的生成对抗训练算法；

生成对抗网络由一个生成器(Generator)和一个判别器(Discriminator)组成，生成器与判别器之间是一种对抗的关系，生成器的目的是尽量去学习真实的数据分布，而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器；为了取胜，两者需要不断优化，各自提高自己的生成能力和判别能力，最终达到纳什均衡。

分割模型在本质上就是生成对抗网络中的一种生成模型，即从原始输入的MRI数据生成体素级的类别分割图。以这个思路出发，提出分割-生成式对抗网络，采用上述肿瘤MRI分割网络作为生成器，采用分类模型作为判别器；让分类判别模型去捕捉高阶的分割信息，辅助分割模型训练；在肿瘤MRI分割模型的基础上通过对抗训练生成更加精确的分割结果。

在生成对抗模型中，分割-生成式对抗网络损失函数L由两部分组成，即生成器损失函数L_s与判别器损失函数L_d。

L＝L_s+L_d   (2)

判别器辅助生成器生成更加精确的分割结果，但生成器生成的图像与真实图像不可能完全一致，因此在设计判别器损失函数时，生成器结果对应的标签必然为零，而分割标签必然为真。拟选用均方误差作为判别器的损失函数，定义如下：

分割-生成式对抗网络损失函数由两部分组成，第一部分是用于训练分割模型的改进Dice损失函数，第二部分为均方误差损失函数。混合损失函数的公式(2)可如下所示：

其中s表示分割模型的参数，d表示判别模型的参数，s(x_n)是分割模型的输出概率图，L_d选用均方误差作为判别器的损失函数。通过公式(1)计算分割模型的性能，保证生成模型学习到的分割结果是和输入的图像相关的，解决了原始的生成对抗模型中不能控制生成内容的问题。判别模型通过分类判定模型的输入来获取高阶的信息，因为分类模型的感受野具有对图像整体和部分区域的感知，可以发现高阶上的分割错误。使用d(x,y)作为判别模型的输出，如果x是来自人工标记的分割标签，则分类结果为1，如果是来自生成模型生成的分割结果，则分类结果为0。使用生成对抗模型的交替训练的模式，最小化分割生成模型的损失值，最大化判别模型的损失值。

S3：将医学图像中的未标注图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，增强分割-生成对抗网络稳定性。

生成器和判别器两个模块的优化过程是一个相互竞争、对抗的过程，在迭代对抗中两者的性能都在不断改善，这一过程即为极小极大值博弈建模，可如下表示：

其中，G表示生成器模型，D是判别器模型，z表示随机噪声。

上述分割-生成对抗网络基础上，充分利用医学图像中的未标注图像，包括多模态MRI数据、电子病历和医生专家的文本报告中的临床诊疗信息等数据。一方面，可以补充已标记训练数据的不足，使所述分割-生成对抗网络更适应小样本数据集；另一方面，生成对抗网络存在不可控现象，如果将训练图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，将使得生成对抗网络更加可控、稳定。假设额外输入条件信息为y，分割-生成对抗网络的目标函数可表示为基于条件概率的极小极大值博弈，如下所示：

实际训练过程中，判别器会很容易在与生成器的对抗训练中取得胜利，导致生成器梯度消失。因此在训练中，更新一次判别器应更新若干次生成器，以使得判别器在训练过程中不会快速达到(近似)最优，以此保持生成器与判别器的对抗平衡。生成器更新次数根据不同规模的数据集选定，为了保持对抗平衡，本实施例中将判别器与生成器的更新次数为1:2。

其次，与原始的判别器有所不同，判别器不需要在输入时连接标签数据，同样也不需要生成器在每一层连接标签数据。这样修改原始模型的原因是由于本文的目的是要将训练好的判别器提取出来用于分类。所以在预训练时，判别器的结构中要避免出现标签数据的影响；另外，在后面训练分类器时也方便整体提取；在生成器每一层输入条件信息，相比只在输入层加入条件信息更能引导生成器的输出结果。

本发明还公开了一种利用所述肿瘤MRI弱监督学习分析建模方法建立的模型，主要包括：

图像导入和显示模块，用于导入病人的三维体数据，显示参考图像与浮动图像的横断面、冠状面、矢状面图像；

预处理模块，用于对医学图像进行图像处理、增强图像质量；

感兴趣区域模块，用于采用基于掩模的方法以提取感兴趣区域；

分割模块，用于通过构建以全卷积神经网络为基础的肿瘤MRI分割网络，并将其作为生成器，分类模型作为判别器，在已标记训练数据有限情况下，利用医学图像中的非标注图像，实现肿瘤放射治疗靶区和危及器官智能化、自动化勾画；

数据输出模块，用于显示分割后靶区和危及器官。

本发明方法及模型能够在较少训练样本情况下，更加精确地自动分割出肿瘤靶区和危及器官，应用于肿瘤放射治疗的靶区和危及器官勾画。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种肿瘤MRI弱监督学习分析建模方法，包括以下步骤：

S1：构建以全卷积神经网络为基础的肿瘤MRI分割网络，实现肿瘤MRI初步分割；具体步骤包括：

S101：对MRI原始数据进行图像预处理；

S102：对肿瘤MRI分割网络的卷积层采用带步长卷积以提取肿瘤MRI特征，并允许空间下采样；

S103：采用基于反卷积的上采样操作，找到每个体素对应的类别，实现分割效果；

S2：将肿瘤MRI分割网络作为生成器，分类模型作为判别器，提出肿瘤MRI分割网络的生成对抗训练算法；

S3：将医学图像中的未标注图像数据作为生成器模型和判别器模型的额外输入条件信息，指导数据生成过程，增强分割-生成对抗网络稳定性；

所述肿瘤MRI分割网络由两个部分构成，即处理输入MRI图像的编码器部分及用于产生标签输出的解码器部分；输入的是3D肿瘤MRI体数据，输出每一个体素点属于正常组织与肿瘤的概率；

针对肿瘤MRI分割网络中，MRI肿瘤、不同正常组织的体素点不平衡性的问题，采用加权损失函数，定义如下：

其中，p_i表示体素点i预测概率值，g_i表示体素点i真实类别。

2.根据权利要求1所述的肿瘤MRI弱监督学习分析建模方法，其特征在于，在步骤S2中，通过肿瘤MRI分割网络的生成对抗训练算法生成的对抗模型中，分割-生成式对抗网络损失函数L由两部分组成，第一部分是用于训练分割模型的改进Dice损失函数，第二部分为均方误差损失函数：

其中s表示分割模型的参数，d表示判别模型的参数，s(x_n)是分割模型的输出概率图，L_d选用均方误差作为判别器的损失函数。

3.根据权利要求1所述的肿瘤MRI弱监督学习分析建模方法，其特征在于，所述医学图像中的未标注图像数据包括多模态MRI数据、电子病历、医生专家的文本报告中的临床诊疗信息。

4.根据权利要求1所述的肿瘤MRI弱监督学习分析建模方法，其特征在于，在步骤S3中，假设额外输入条件信息为y，通过肿瘤MRI分割网络的生成对抗训练算法生成的对抗模型中，分割-生成式对抗网络的目标函数表示为基于条件概率的极小极大值博弈，如下式：

其中，G表示生成器模型，D是判别器模型，z表示随机噪声。

5.根据权利要求4所述的肿瘤MRI弱监督学习分析建模方法，其特征在于，所述判别器与生成器的更新次数为1∶2。

6.基于权利要求1所述的肿瘤MRI弱监督学习分析建模方法建立的模型，其特征在于，主要包括：

图像导入和显示模块，用于导入病人的三维体数据，显示参考图像与浮动图像的横断面、冠状面、矢状面图像；

预处理模块，用于对医学图像进行图像处理、增强图像质量；

感兴趣区域模块，用于采用基于掩模的方法以提取感兴趣区域；

分割模块，用于通过构建以全卷积神经网络为基础的肿瘤MRI分割网络，并将其作为生成器，分类模型作为判别器，在已标记训练数据有限情况下，利用医学图像中的非标注图像，实现肿瘤放射治疗靶区和危及器官智能化、自动化勾画；

数据输出模块，用于显示分割后靶区和危及器官。

Images