CN109727235B - 一种基于深度学习的器官自动勾画算法 - Google Patents

Abstract

本发明公开一种基于深度学习的器官自动勾画算法，具体包括以下步骤：(1)使用图像部位分类算法，筛选出当前器官所在部位的图像；(2)获取器官在图像中的窗口位置和大小，按照器官在图像中的窗口位置及大小，将筛选出的图像剪裁为固定大小；(3)将剪裁后的图像插值为神经网络输入所要求的大小；(4)将处理后的图像输入到训练好的3DUnet卷积神经网络，以对器官进行预测；(5)将预测的器官图像反插值到剪裁图像的大小，并填充为原图像大小，得到器官的真实预测；(6)提取真实预测的器官的边缘线，即为该器官的勾画。本发明在保证勾画精度的基础上，显著提升了勾画效率，可以有效解决小器官勾画精度不高的问题。

Description

一种基于深度学习的器官自动勾画算法

技术领域

本发明属于医学图像领域，主要用于放射治疗的危及器官勾画环节，具体涉及一种基于深度学习的器官自动勾画算法。

背景技术

在放射治疗的危及器官勾画环节，医院传统的做法是让放疗医生对危及器官进行手工勾画，这不但容易产生人为误差，且影响放疗医生的工作效率，进而影响病人的治疗时间。

深度学习是人工智能算法的一种，本质上是神经网络，因其隐含层较多，故而称为深度学习。大量的隐含层，让其可以提取出数据的高维特征，经过不断的训练，它可以拥有提取那些与数据的标签对应的高维特征的能力，进而得到数据与标签之间的一个映射。目前深度学习被大量应用于图像处理和模式识别。

卷积神经网络(Convolutional Neural Network，CNN)是深度学习的一种，与传统的深度学习的隐含层都是全链接层不同，它一般先添加大量的卷积层，然后再添加很少量的全链接层，故而称其为卷积神经网络。卷积层通过共用权重、部分链接的方式，大大减少了网络的参数个数，一定程度上解决了模型的过拟合问题。目前卷积神经网络在图像处理上应用广泛。

基于卷积神经网络的器官自动勾画算法容易产生下面问题，在大器官上精度高，在小器官上精度低。

发明内容

为了解决上述技术问题，本发明提出了一种基于深度学习的器官自动勾画算法，可以有效解决小器官勾画精度低的问题，在大小器官上都有较高的勾画精度。

为了达到上述目的，本发明的技术方案如下：

一种基于深度学习的器官自动勾画算法，具体包括以下步骤：

(1)使用图像部位分类算法，筛选出当前器官所在部位的图像；

(2)获取器官在图像中的窗口位置和大小，按照器官在图像中的窗口位置及大小，将筛选出的图像剪裁为固定大小；

(3)将剪裁后的图像插值为神经网络输入所要求的大小；

(4)将经过步骤(1)-(3)处理后的图像输入到训练好的3D Unet卷积神经网络，以对器官进行预测；

(5)将预测的器官图像反插值到剪裁图像的大小，并填充为原图像大小，得到器官的真实预测；

(6)提取真实预测的器官的边缘线，即为该器官的勾画。

本发明提出的一种基于深度学习的器官自动勾画算法，在保证勾画精度的基础上，显著提升了勾画效率，相同的器官若放疗医生勾画需要花费7分钟左右，该算法只需花费20s，节约了95％左右的工作时间，大大减轻了放疗医生的工作负担，同时也为肿瘤病人争取到了宝贵的治疗时间。另外本发明提出的自动勾画算法可以有效解决小器官勾画精度不高的问题。

在上述技术方案的基础上，还可做如下改进：

进一步，在步骤(1)之前，需要对使用的图像部位分类算法进行训练，具体步骤如下：

(a1)将按部位标记好的医学图像分为训练集和测试集两大类；

(a2)将训练集中的图像进行预处理，然后和其标签一起输入图像部位分类算法中，训练该算法的权重；

(a3)将测试集中的图像进行预处理，然后和标签一起输入训练好的图像部位分类算法中，测试图像部位分类算法的预测精度，

若精度没有达到阈值，则对图像部位分类算法的超参或图像部位分类算法的预处理方法进行调整，然后再进入步骤(a2)进行迭代；

若预测精度达到阈值，则停止迭代，保存训练好的图像部位分类算法。

进一步，步骤(1)中的图像部位分类算法用于将图像按头部、颈部、胸部、腹部、盆部、腿部分为6大类，图像部位分类算法为VGG16卷积神经网络或SVM+HOG算法。

进一步，对于VGG16卷积神经网络，图像预处理方法优先采用图像归一和去噪两种方法；

对于SVM+HOG算法，图像预处理方法优先采用缩放方法。

进一步，步骤(1)具体包括以下步骤：

(1.1)输入当前病人的所有图像，利用训练好的图像部位分类算法预测每张图像所属的部位；

(1.2)保留属于当前器官所在部位的图像，剔除掉在层厚方向与其它图像相距比较远的异常图像；

(1.3)分别记录下剩余的最上层、最下层图像所在的序号k1、k2，序号在[k1-k，k2+k]之间的图像则是最终的图像；

其中：k为配置项。

进一步，步骤(2)中，获取器官在图像中的窗口位置及大小具体包括以下步骤：

(2.1)将训练数据拆分为图像和标签两部分，根据标签获取能够覆盖所有图像中器官的最小矩形，记录下该矩形在图像中的位置和大小；

(2.2)将步骤(2.1)中得到的最小矩形沿上、下两个方向分别外扩1/2矩形高度，沿左、右方向分别外扩矩形的1/2宽度，得到新矩形，该新矩形即为器官的窗口，记录下该窗口在图像中的位置和大小。

进一步，步骤(4)中提及的3D Unet卷积神经网络的训练具体包括以下内容：

将训练数据拆分为图像和标签两部分，将图像和标签分别做图像预处理，然后将它们放进神经网络中进行训练；

训练时，采用的损失函数为图像分割中常用的Dice相似度，具体表达为：

DSC(A，B)＝2V(A∩B)/(V(A)+V(B))

其中，V(A)、V(B)分别表示自动勾画和专家手动勾画的结果的体积；

V(A∩B)表示自动勾画与专家手动勾画的结果的重叠体积，自动分割与专家手动勾画的结果的重叠体积越大，DSC值就越大，自动勾画的精度也就越高，DSD值最大能达到1。

附图说明

图1为本发明实施例提供的基于深度学习的器官自动勾画算法的流程图。

图2为本发明实施例提供的3D Unet卷积神经网络的结构图。

图3为本发明实施例提供的脑干图像经过剪裁处理后的图。

图4为本发明实施例提供的脑干图像依次经过剪裁、插值处理后的图。

图5为脑干的专家勾画与基于本发明的自动勾画的对比图；

其中：曲线A为自动勾画曲线；曲线B为专家勾画曲线。

图6为本发明实施例提供的右眼图像经过剪裁处理后的图。

图7为本发明实施例提供的右眼图像依次经过剪裁、插值处理后的图。

图8右眼的专家勾画与基于本发明的自动勾画的对比图；

其中：曲线C为自动勾画曲线；曲线D为专家勾画曲线。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，一种基于深度学习的器官自动勾画算法的其中一些实施例中，

如图1所示，一种基于深度学习的器官自动勾画算法，具体包括以下步骤：

(1)使用图像部位分类算法，筛选出当前器官所在部位的图像；

(2)获取器官在图像中的窗口位置和大小，按照器官在图像中的窗口位置及大小，将筛选出的图像剪裁为固定大小；

(3)将剪裁后的图像插值为神经网络输入所要求的大小；

(4)将经过步骤(1)-(3)处理后的图像输入到训练好的3D Unet卷积神经网络，以对器官进行预测；

(5)将预测的器官图像反插值到剪裁图像的大小，并填充为原图像大小，得到器官的真实预测；

(6)提取真实预测的器官的边缘线，即为该器官的勾画。

本发明提出的一种基于深度学习的器官自动勾画算法，在保证勾画精度的基础上，显著提升了勾画效率，相同的器官若放疗医生勾画需要花费7分钟左右，该算法只需花费20s，节约了95％左右的工作时间，大大减轻了放疗医生的工作负担，同时也为肿瘤病人争取到了宝贵的治疗时间。另外本发明提出的自动勾画算法可以有效解决小器官勾画精度不高的问题。

为方便叙述，可以将步骤(1)、(2)、(3)作为一个整体称为3D Unet卷积神经网络的图像预处理方法。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤(1)之前，需要对使用的图像部位分类算法进行训练，具体步骤如下：

(a1)将按部位标记好的医学图像分为训练集和测试集两大类；

(a2)将训练集中的图像进行预处理，然后和其标签一起输入图像部位分类算法中，训练该算法的权重；

(a3)将测试集中的图像进行预处理，然后和标签一起输入训练好的图像部位分类算法中，测试图像部位分类算法的预测精度，

若精度没有达到阈值，则对图像部位分类算法的超参或图像部位分类算法的预处理方法进行调整，然后再进入步骤(a2)进行迭代；

若预测精度达到阈值，则停止迭代，保存训练好的图像部位分类算法。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤(1)中的图像部位分类算法用于将图像按头部、颈部、胸部、腹部、盆部、腿部分为6大类，图像部位分类算法为VGG16卷积神经网络或SVM+HOG算法。

进一步，对于VGG16卷积神经网络，图像预处理方法优先采用图像归一和去噪两种方法；

对于SVM+HOG算法，图像预处理方法优先采用缩放方法。

对于SVM+HOG算法，可以缩放到50*50，以提高模型的预测速度。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤(1)具体包括以下步骤：

(1.1)输入当前病人的所有图像(如：CT图像)，利用训练好的图像部位分类算法预测每张图像所属的部位；

(1.2)保留属于当前器官所在部位的图像，剔除掉在层厚方向与其它图像相距比较远的异常图像；

(1.3)分别记录下剩余的最上层、最下层图像所在的序号k1、k2，序号在[k1-k，k2+k]之间的图像则是最终的图像；

其中：k为配置项(k一般取3)。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤(2)中，获取器官在图像中的窗口位置及大小具体包括以下步骤：

(2.1)将训练数据拆分为图像(image)和标签(label)两部分，根据标签获取能够覆盖所有图像中器官的最小矩形，记录下该矩形在图像中的位置和大小；

(2.2)将步骤(2.1)中得到的最小矩形沿上、下两个方向分别外扩1/2矩形高度，沿左、右方向分别外扩矩形的1/2宽度，得到新矩形，该新矩形即为器官的窗口，记录下该窗口在图像中的位置和大小。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤(4)中提及的3D Unet卷积神经网络的训练具体包括以下内容：

将训练数据拆分为图像和标签两部分，将图像和标签分别做图像预处理，然后将它们放进神经网络中进行训练；

训练时，采用的损失(loss)函数为图像分割中常用的Dice相似度(DiceSimilarity Coefficient，DSC)，具体表达为：

DSC(A，B)＝2V(A∩B)/(V(A)+V(B))

其中，V(A)、V(B)分别表示自动勾画和专家手动勾画的结果的体积；

V(A ∩B)表示自动勾画与专家手动勾画的结果的重叠体积，自动分割与专家手动勾画的结果的重叠体积越大，DSC值就越大，自动勾画的精度也就越高，DSD值最大能达到1。

对上述3D Unet卷积神经网络进行描述如下：

3D Unet卷积神经网络要求一次输入多张相邻层的病人图像，这样病人层厚方向的解剖特征就会被模型学习，从而容易得到更高的预测精度。

该模型的隐含层包括3维卷积层、激活层、最大池化层、下采样层、上采样层、融合层。除隐藏层外，还包含有输入层与输出层。图2为3D Unet卷积神经网络的结构图。

将要预测的图像进行图像预处理操作，然后再放入训练好的3D Unet卷积神经网络中进行预测。

为了更好的展现本发明的算法，下面两个实例为例。

第一，以头部病人的脑干为例，叙述本发明算法的工作方式：

(1)加载训练好的图像部位分类算法，选用的分类算法是SVM+HOG，该算法的精确率在90％以上，使用该图像部位分类算法对图像按部位进行分类，经过该操作，从病人的120张图像中筛选出了62张头部图像；

(2)获取脑干在图像中的窗口的位置和大小，计算得到的窗口的位置及大小信息为[135，60，269，341]，四个数据依次代表窗口左上角的点的x轴坐标、左上角的点的y轴坐标、窗口的宽度、窗口的高度；将上一步筛选的62张头部图像，按该窗口剪裁为尺寸为341*269的图，见图3所示；

(3)将步骤(2)中剪裁后的图像插值为512*512的大小，见图4所示；

(4)加载之前训练好的脑干的3D Unet模型，将步骤(3)中得到的图像输入该模型中对脑干进行预测；

(5)将预测得到的结果图像，插值为341*269的大小，然后在插值图像的周围填充0，使得填充后图像的大小为512*512(因为病人原始图像大小是512*512)，且插值图像在填充图像中的窗口的信息为[135，60，269，341]，该填充图像就是病人脑干的真实预测图像；

(6)提取病人真实预测图像中脑干的边缘线，该边缘线即为病人脑干的勾画。

图5给出了脑干的专家勾画与基于本发明的自动勾画的对比图。

第二，以头部病人的右眼为例，叙述本发明算法的工作方式：

(1)加载训练好的图像部位分类算法，选用的分类算法是VGG16，该算法的精确率也在90％以上，使用该图像部位分类算法对图像按部位进行分类，经过该操作，我们从病人的120张图像中筛选出了60张头部图像；

(2)获取右眼在图像中的窗口的位置和大小，我们这里计算得到的窗口的位置及大小信息为[204，123，53，53]，四个数据依次代表窗口左上角的点的x轴坐标、左上角的点的y轴坐标、窗口的宽度、窗口的高度；将上一步筛选的60张图，按该窗口剪裁为尺寸为53*53的图，见图6所示；

(3)将步骤(2)中剪裁后的图像插值为512*512的大小，见图7所示；

(4)加载之前训练好的右眼的3D Unet模型，将步骤(3)中得到的图像输入该模型对右眼进行预测；

(5)将预测得到的结果图像，插值为53*53的大小，然后在插值图像的周围填充0，使得填充后图像的大小为512*512(因为病人原始图像大小是512*512)，且插值图像在填充图像中的窗口的信息为[204，123，53，53]，该填充图像就是病人右眼的真实预测图像；

(6)提取病人真实预测图像中右眼的边缘线，该边缘线即为病人器官的勾画。

图8给出了右眼的专家勾画与基于本发明的自动勾画的对比图。

本发明提出的自动勾画算法可以有效解决小器官勾画精度低的问题，在大小器官上都有较高的勾画精度(见图5与图8)。且本发明可以有效保证勾画精度。

对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于深度学习的器官自动勾画算法，其特征在于，具体包括以下步骤：

(1)使用图像部位分类算法，筛选出当前器官所在部位的图像；

(2)获取器官在图像中的窗口位置和大小，按照器官在图像中的窗口位置及大小，将筛选出的图像剪裁为固定大小；

(3)将剪裁后的图像插值为神经网络输入所要求的大小；

(4)将经过步骤(1)-(3)处理后的图像输入到训练好的3D Unet卷积神经网络，以对器官进行预测；

(5)将预测的器官图像反插值到剪裁图像的大小，并填充为原图像大小，得到器官的真实预测；

(6)提取真实预测的器官的边缘线，即为该器官的勾画；

所述步骤(1)具体包括以下步骤：

(1.1)输入当前病人的所有图像，利用训练好的所述图像部位分类算法预测每张图像所属的部位；

(1.2)保留属于当前器官所在部位的图像，剔除掉在层厚方向与其它图像相距比较远的异常图像；

(1.3)分别记录下剩余的最上层、最下层图像所在的序号k1、k2，序号在[k1-k，k2+k]之间的图像则是最终的图像；

其中：k为配置项；

所述步骤(2)中，获取器官在图像中的窗口位置及大小具体包括以下步骤：

(2.1)将训练数据拆分为图像和标签两部分，根据标签获取能够覆盖所有图像中器官的最小矩形，记录下该矩形在图像中的位置和大小；

(2.2)将所述步骤(2.1)中得到的最小矩形沿上、下两个方向分别外扩1/2矩形高度，沿左、右方向分别外扩矩形的1/2宽度，得到新矩形，该新矩形即为器官的窗口，记录下该窗口在图像中的位置和大小。

2.根据权利要求1所述的基于深度学习的器官自动勾画算法，其特征在于，

在所述步骤(1)之前，需要对使用的所述图像部位分类算法进行训练，具体步骤如下：

(a1)将按部位标记好的医学图像分为训练集和测试集两大类；

(a2)将训练集中的图像进行预处理，然后和其标签一起输入所述图像部位分类算法中，训练该算法的权重；

(a3)将测试集中的图像进行预处理，然后和标签一起输入训练好的所述图像部位分类算法中，测试所述图像部位分类算法的预测精度，

若精度没有达到阈值，则对所述图像部位分类算法的超参或所述图像部位分类算法的预处理方法进行调整，然后再进入所述步骤(a2)进行迭代；

若预测精度达到阈值，则停止迭代，保存训练好的所述图像部位分类算法。

3.根据权利要求2所述的基于深度学习的器官自动勾画算法，其特征在于，所述步骤(1)中的所述图像部位分类算法用于将图像按头部、颈部、胸部、腹部、盆部、腿部分为6大类，所述图像部位分类算法为VGG16卷积神经网络或SVM+HOG算法。

4.根据权利要求3所述的基于深度学习的器官自动勾画算法，其特征在于，对于VGG16卷积神经网络，图像预处理方法优先采用图像归一和去噪两种方法；

对于SVM+HOG算法，图像预处理方法优先采用缩放方法。

5.根据权利要求1所述的基于深度学习的器官自动勾画算法，其特征在于，所述步骤(4)中提及的所述3D Unet卷积神经网络的训练具体包括以下内容：

将训练数据拆分为图像和标签两部分，将图像和标签分别做图像预处理，然后将它们放进神经网络中进行训练；

训练时，采用的损失函数为图像分割中常用的Dice相似度，具体表达为：

DSC(A，B)＝2V(A∩B)/(V(A)+V(B))

其中，V(A)、V(B)分别表示自动勾画和专家手动勾画的结果的体积；

V(A∩B)表示自动勾画与专家手动勾画的结果的重叠体积，自动分割与专家手动勾画的结果的重叠体积越大，DSC值就越大，自动勾画的精度也就越高，DSD值最大能达到1。

Images