CN109934796A

CN109934796A - 一种基于深度集成学习的器官自动勾画方法

Info

Publication number: CN109934796A
Application number: CN201811605924.9A
Authority: CN
Inventors: 文虎儿; 关睿雪; 姚毅
Original assignee: SUZHOU LINATECH MEDICAL TECHNOLOGY Co Ltd
Current assignee: SUZHOU LINATECH MEDICAL TECHNOLOGY Co Ltd
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2019-06-25

Abstract

本发明公开一种基于深度集成学习的器官自动勾画方法，具体包括以下步骤：S1：在图像分割前，对CT图像和对应的Mask图像进行准备工作，其中Mask图像为已勾画的器官图像；S2：在步骤S1的准备工作完成后，对单一方位的器官进行自动勾画，得到各个单一方位的器官自动勾画结果；S3：利用集成方法根据步骤S2得到的结果完成多方位自动勾画的集成。本发明利用集成方法完成多方位自动勾画的集成，突破了传统单一方位的自动分割方法，进一步提高器官的自动勾画精度。

Description

一种基于深度集成学习的器官自动勾画方法

技术领域

本发明属于医疗影像和深度学习领域，主要涉及一种基于深度集成学习的器官自动勾画方法。

背景技术

器官的勾画是放射治疗中很重要的准备工作。然而，器官勾画任务量大且工作重复性较多，人工勾画耗时较长且勾画精度主要依赖于医生经验。为了能够快速统一地自动勾画出所需器官，研究人员开发出或应用了许多方法。目前效果最优的是深度学习的卷积神经网络 (CNN)，我们输入已有的CT图像和已有的器官勾画，训练网络，使之根据CT图像预测出各个器官的勾画。训练过程不需人工干预，网络可以根据输入输出逐步调整内部参数，直至停止，加载参数后的网络称为模型，该模型反映了输入图像与输出图像之间的映射关系。卷积神经网络可以从图像中提取关键特征用于最终输出，训练过程等同于寻找这些关键特征的过程，这个过程本质上就是图像非线性特征的自动提取。

在一般的医学图像分割中，使用图像均为横断面图像，运用二维神经网络模型只能识别出横断面图像的二维特征。图像的三维特征可以使用三维神经网络提取，但以目前的计算机显存容量来看，大小为 512*512的图像在一些较为复杂的网络中，仅可以使用3～5张。若要在计算机显存允许范围内提取更多的CT图像层间信息，就需要缩减图像大小或降低模型复杂度，这会降低图像分割的精度。

综上，三维体的自动分割方法中，三维特征的提取实现难度较高，器官的自动勾画精度受限。

发明内容

为了解决上述技术问题，本发明提出了一种基于深度集成学习的器官自动勾画方法。

为了达到上述目的，本发明的技术方案如下：

一种基于深度集成学习的器官自动勾画方法，具体包括以下步骤：

S1：在图像分割前，对CT图像和对应的Mask图像进行准备工作，其中Mask图像为已勾画的器官图像；

S2：在步骤S1的准备工作完成后，对单一方位的器官进行自动勾画，得到各个单一方位的器官自动勾画结果；

S3：利用集成方法根据步骤S2得到的结果完成多方位自动勾画的集成。

本发明提出了一种基于深度集成学习的器官自动勾画方法，该方法得到各个单一方位的器官自动勾画结果后，利用集成方法完成多方位自动勾画的集成，突破了传统单一方位的自动分割方法，进一步提高器官的自动勾画精度。

在上述技术方案的基础上，还可做如下改进：

进一步，步骤S1具体包括以下步骤：

S1.1：读取CT图像和勾画信息，转为固定大小的CT图像和对应的Mask图像；

S1.2：将步骤S1.1得到的CT图像和Mask图像转为三维体信息；

S1.3：3D旋转步骤S1.2得到的三维体信息至指定方位；

S1.4：重新切片形成新的CT图像和对应Mask图像，得到多方位图像。

进一步，步骤S2具体包括以下步骤：

S2.1：对CT图像进行预处理，其预处理为窗宽窗位的调节；

S2.2：对CT图像和Mask图像进行数据增广；

S2.3：搭建网络模型；

S2.4：在网络模型训练前，将CT图像和对应的Mask图像分为三组：训练集、验证集和测试集；

S2.5：利用训练集训练网络模型，利用验证集交叉验证训练过程中的网络模型；

S2.6：利用测试集测试网络模型，网络模型训练完成后，加载参数成为可用的模型，在测试集上预测各器官的勾画，与真实勾画对比，判断勾画效果。

进一步，步骤S2.1中，若CT图像灰度范围为[-1024，2048]，而腹窗的灰度范围为[w_down，w_upper]，那么可按照以下公式对CT图像灰度做调整：

进一步，步骤S2.2中，数据增广包括小幅度3D旋转、2D剪切、 2D平移以及加噪中的一种或多种。

进一步，步骤S2.3中，所搭建的网络模型为Unet。

进一步，在步骤S3中，集成方法为投票法或卷积神经网络学习各分类器的权重法，卷积神经网络学习各分类器的权重法为拼接各分类器，其后连接卷积神经网络，训练参数，使得网络学习到各分类器的权重。

进一步，步骤S3具体包括以下步骤：

S3.1：将各个方位的器官Mask图像反旋转到同一方位；

S3.2：对不同方位的Mask数据进行集成；

若集成方法为投票法，则进入步骤S3.3；

若选择拼接不同方位的Mask数据，则进入步骤S3.4；

S3.3：不同方位的Mask数据采用投票制或最大值得到最终分类结果：选取同一像素点的不同方位预测值的最大值所在的类别作为当前像素点的类别，或者不同方位的预测值采用投票制，得到整体三维体的分割结果；

S3.4：拼接不同方位的全部Mask数据，将其接入卷积神经网络，训练该网络，得到最终的器官勾画。

进一步，步骤3.4具体为：

将所有方位的分类结果记为Mask1，Mask2，...Maskn，它们的格式均为 Mask_i(ct_slice，512，512，labels)

其中，ct_slice为CT层序号，512*512为图像大小，labels为器官类别数；

将所有Mask_i拼接，接入卷积神经网络，训练该网络，得到最终的Mask；

所有Mask_i拼接后的维数为：(ct_slice，512，512，labels*n)，经过一个卷积层降维为：(ct_slice，512，512，labels*n/2)，直至得到真实的 Mask(ct_slice，512，512，labels)。

附图说明

图1为本发明实施例提供的基于深度集成学习的器官自动勾画方法的流程示意图。

图2为本发明实施例提供的单一方位器官自动勾画所用网络模型框架图。

图3为本发明实施例提供的整合多方位器官分割结果所用网络模型框架图。

图4为本发明实施例提供的基于深度集成学习的器官自动勾画方法的总体网络框架。

图5为本发明实施例提供的单一方位数据准备流程图。

图6为本发明实施例提供的单一方位器官自动勾画流程图。

图7为本发明实施例提供的横断面肺分叶自动勾画效果对比图；

图7(a)为原图；

图7(b)为勾画效果图，其中，曲线A为手动勾画，曲线B为自动勾画。

图8为本发明实施例提供的器官多方位自动勾画的集成流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，一种基于深度集成学习的器官自动勾画方法的其中一些实施例中，

考虑到一般医学图像分割只能识别出横断面图像的二维特征，而受限于计算机显存，图像的三维特征提取实现难度较高，器官的自动勾画精度受限。为此，本发明提出了一种基于深度集成学习的器官自动勾画方法。该方法本质是从三维体出发，转为多个二维体的分割，再集成到三维体中，即3D-2D-3D的过程。

如图1所示，一种基于深度集成学习的器官自动勾画方法，具体包括以下步骤：

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，如图5所示，步骤S1具体包括以下步骤：

S1.2：将步骤S1.1得到的CT图像和Mask图像转为三维体信息；

S1.3：3D旋转步骤S1.2得到的三维体信息至指定方位；

步骤S1.1中，CT图像和勾画信息从Dicom中读取。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，如图6所示，步骤S2具体包括以下步骤：

S2.1：对CT图像进行预处理，其预处理为窗宽窗位的调节；

S2.2：对CT图像和Mask图像进行数据增广；

S2.3：搭建网络模型；

这里，步骤S2.1中，对CT图像的预处理主要是窗宽窗位的调节。考虑到实际情况中，不同器官勾画时，会将CT图像的灰度调整至不同窗宽窗位，如大脑在骨窗下勾画、眼球在脑窗下勾画。这里，可以选择多个窗对CT图像进行图像增强，以减少网络复杂度，值得注意的是调节窗宽窗位不改变CT物理含义，这个过程是可逆的。

在网络训练前，可将CT图像和对应的已勾画的器官图像(即： Mask图像)分为三组：训练集、验证集和测试集。

训练集用于训练模型参数，使得网络内部各参数不断迭代优化；验证集用于交叉验证训练过程中的模型，防止过拟合；测试集用于测试模型。在网络训练部分，可以通过调整网络复杂度，优化方法，优化参数来适应实际需求。这里，训练时可选用Adam作为优化方法，交叉熵作为损失函数。

网络训练完成后，加载参数成为可用的模型，这时在测试集上预测各器官的勾画，与真实勾画对比，即可判断勾画效果。工程上，通常使用Dice系数作为分割的精度评价标准，Dice系数取值范围为 [0，1]，数值越大表明分割精度越高。

以肺部自动分割为例，器官分别为：左肺上(LUL)，左肺下(LDL)，右肺上(RUL)，右肺中(RML)，右肺下(RDL)，皮肤，背景；这里选取的三个方位：横断面，冠状面，矢状面；在测试集上测试后各病例做平均，得到的各器官Dice系数基本在0.8以上，效果显著(如图7所示)。

可见窗宽窗位调整是对灰度做线性变换，本质上不改变CT物理意义。这样做可以突出器官位置，尤其对于一些软组织，调节窗宽窗位后，模型可以更好地识别器官位置和边缘。

进一步，步骤S2.2中，数据增广包括小幅度3D旋转、2D剪切、2D平移以及加噪中的一种或多种。

3D旋转可以模拟人体在俯仰位、偏转位、侧转位的小幅度变化，以头部为例，抬头或低头、头的偏转和侧偏都可以用小幅度3D旋转模拟，并且这样的轻微旋转在实际情况下是存在的。2D剪切可以剪切出以皮肤为界限的矩形区域，降低背景带来的影响。2D平移和增加噪声可以扩大数据集，这有利于提高CNN模型的泛化能力，使得当前数据适用于更深的网络。

数据量越大，那么复杂网络的训练才有可能，否则将出现过拟合现象。数据增广如小幅度的平移等，这些对于人眼识别是较为简单的，但对模型而言，微小平移后的图像是几乎未曾训练的数据，这样的数据越多，模型的泛化能力越强，也就更适用于多种多样的CT图像。

进一步，步骤S2.3中，所搭建的网络模型为Unet，如图2所示。

网络经过多次下采样后的低分辨率信息，能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断。同时，下采样信息经上采样后与中间图像进行拼接(concatenate)操作，可以从中间图像直接传递到同高度上图像的高分辨率信息，能够为分割提供更加精细的特征。

通过采用上述流程，可以得到各个单一方位的器官自动勾画结果，这些结果都是相互独立的。接着，为了解决三维体的自动分割问题，本发明使用集成方法整合各个方位的分割结果。

在使用集成方法前，这里再解释多方位图像的生成：原始CT图像重构成3D体数据，将3D体数据经过3D旋转并重新切片后，即可得到多方位图像。同理，某一方位图像经神经网络预测后的Mask图像，也可反旋转得到原方位的Mask图。

所用集成方法可以使用最为简单的投票法，也可以训练一个模型用于组合其他各个模型。

集成方法的基本思想就是通过对多个单模型集成以提升整体性能。一般来说，模型融合或多或少都能提高的最终的预测能力，且一般不会比最优子模型差。其原因在于不同的子模型在不同的数据上有不同的表达能力，我们可以结合他们擅长的部分，得到一个在各个方面都很“准确”的模型。常用的集成方法主要有：平均法/投票法， bagging/boosting，stacking，更进一步地学习各分类器的权重。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤S3中，集成方法为投票法或卷积神经网络学习各分类器的权重法，卷积神经网络学习各分类器的权重法为拼接各分类器，其后连接卷积神经网络，训练参数，使得网络学习到各分类器的权重。

投票法即选择多数分类器所得到的分类结果。

进一步，如图8所示，步骤S3具体包括以下步骤：

S3.1：将各个方位的器官Mask图像反旋转到同一方位；

S3.2：对不同方位的Mask数据进行集成；

若集成方法为投票法，则进入步骤S3.3；

若选择拼接不同方位的Mask数据，则进入步骤S3.4；

S3.3：不同方位的Mask数据采用投票制或最大值得到最终分类结果：选取同一像素点的不同方位预测值的最大值所在的类别作为当前像素点的类别，或者不同方位的预测值采用投票制(如3个方位中有 2个认为该点属于眼球，那么认为该点属于眼球)，得到整体三维体的分割结果；

步骤S3.4的训练测试与Unet的训练测试过程类似，此网络本质上是在寻找不同方位间最优的加权方式。

至此，整个基于器官多图像方位的自动勾画的深度集成完成，实现了由CT图像得到器官勾画，并在此过程中体现了器官三维分割的思想。

进一步，步骤3.4具体为：

本发明使用的整合各方位分割结果的集成方法，也称为模型融合。最简单的模型融合即为投票方式，所有方位的图像经神经网络预测后得到Mask图像，反旋转后得到原方位的Mask图。这时，等同于图像有着多个分割结果，图像中每一点有多种分类结果。对于这样一个多分类问题，投票多且过半数的即为最终的分类。

更复杂一点地，这里将所有方位的分类结果记为Mask1， Mask2，...Maskn.它们的格式为

Mask_i(ct_slice，512，512，labels)

其中，ct_slice为CT层序号，512*512为图像大小，labels为器官类别数。这时将所有Mask_i拼接，接入卷积神经网络或全连接网络，训练此网络，得到最终的Mask。

以卷积神经网络为例，所有Mask_i拼接后的维数为：(ct_slice，512， 512，labels*n)，经过一个卷积层降维为：(ct_slice，512，512，labels*n/2)，以此类推，直至得到真实的Mask(ct_slice，512，512，labels)，这部分网络结构如图3所示。

因此，本发明的总体网络结构如图4所示。整个网络是由单一方位网络与最终的加权网络串联而成，训练过程采用先训练单一方位网络，后训练加权网络的方式进行。整个流程的实现实际上是从三维体出发，转为多个二维体的分割，再集成到三维体中，这个过程是 3D-2D-3D的过程。

综上，本发明提出了一种基于器官多图像方位的自动勾画的深度集成方法，可以整合器官在各个方位使用卷积神经网络得到的该方位的分割结果。同时方位不仅限于横断面、冠状面和矢状面，可以是任意方位，所用集成方法可以使用最为简单的投票法，也可以训练一个模型用于组合其他各个模型。

本发现提出了一种基于深度集成学习的器官自动勾画方法，其目的在于解决三维体的自动分割问题，主题思想是：

(1).器官在各个方位使用卷积神经网络得到该方位的分割结果；

(2).使用集成方法整合各个方位的分割。该方位不仅限于横断面、冠状面和矢状面，可以是任意方位。

利用本发明的方法，可以有效提高器官的自动勾画精度。此外，本发明公开的集成方法对其他三维体自动分割算法也有一定的借鉴意义。

对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种基于深度集成学习的器官自动勾画方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S1具体包括以下步骤：

S1.2：将步骤S1.1得到的CT图像和Mask图像转为三维体信息；

S1.3：3D旋转步骤S1.2得到的三维体信息至指定方位；

3.根据权利要求2所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S2具体包括以下步骤：

S2.1：对CT图像进行预处理，其预处理为窗宽窗位的调节；

S2.2：对CT图像和Mask图像进行数据增广；

S2.3：搭建网络模型；

4.根据权利要求3所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S2.1中，若CT图像灰度范围为[-1024，2048]，而腹窗的灰度范围为[w_down，w_upper]，那么可按照以下公式对CT图像灰度做调整：

5.根据权利要求3所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S2.2中，数据增广包括小幅度3D旋转、2D剪切、2D平移以及加噪中的一种或多种。

6.根据权利要求3所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S2.3中，所搭建的网络模型为Unet。

7.根据权利要求1-6任一项所述的基于深度集成学习的器官自动勾画方法，其特征在于，在所述步骤S3中，所述集成方法为投票法或卷积神经网络学习各分类器的权重法，所述卷积神经网络学习各分类器的权重法为拼接各分类器，其后连接卷积神经网络，训练参数，使得网络学习到各分类器的权重。

8.根据权利要求7所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤S3具体包括以下步骤：

S3.1：将各个方位的器官Mask图像反旋转到同一方位；

S3.2：对不同方位的Mask数据进行集成；

若所述集成方法为投票法，则进入所述步骤S3.3；

若选择拼接不同方位的Mask数据，则进入所述步骤S3.4；

9.根据权利要求8所述的基于深度集成学习的器官自动勾画方法，其特征在于，所述步骤3.4具体为：

将所有方位的分类结果记为Mask1，Mask2，...Maskn，它们的格式均为

Mask_i(ct_slice，512，512，labels)

所有Mask_i拼接后的维数为：(ct_slice，512，512，labels*n)，经过一个卷积层降维为：(ct_slice，512，512，labels*n/2)，直至得到真实的Mask(ct_slice，512，512，labels)。