CN112270660A - 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的鼻咽癌放疗靶区自动分割方法，属于鼻咽癌放疗靶区自动分割领域。本发明包括：获取患者的CT图像数据，基于CT图像数据勾画鼻咽癌放疗靶区和危及器官，并将勾画后的CT图像数据划分为训练集和验证集；构建深度神经网络分割模型，并对训练集中的训练样本进行预处理，利用预处理后的训练样本训练深度神经网络分割模型，预处理包括将训练样本的数值范围缩小至规定范围和增广训练样本；将验证集中的训练样本的数值范围缩小至规定范围，并输入至训练好的深度神经网络分割模型中，对模型的识别效果进行定量评价。本发明中仅需输入患者的CT图像数据，模型即可在短时间内自动输出鼻咽癌放疗靶区以及危及器官的分割结果。

Description

基于深度神经网络的鼻咽癌放疗靶区自动分割方法

技术领域

本发明涉及鼻咽癌放疗靶区自动分割领域，特别涉及一种基于深度神经网络的鼻咽癌放疗靶区自动分割方法。

背景技术

鼻咽癌是一种在鼻咽部位形成的恶性肿瘤，其已是目前国内最常见的癌症之一。据统计，2008年-2012年我国男性鼻咽癌患者的发病率约为7.5人/十万人，女性发病率约为2.8人/十万人。放射治疗简称放疗，放疗使用高能X射线摧毁癌细胞或减慢生长速度，放疗已成为鼻咽癌的主要治疗手段之一。患者在接受放疗之前，需拍摄计算机断层扫描图像(Computed Tomography,CT)或磁共振图像(Magnetic Resonance Imaging,MRI)，再由专业医生勾画出患者的靶区以及危及器官，从而实现摧毁癌细胞的同时，尽可能减少正常组织或器官受到的辐射影响。靶区指肿瘤所在区域和潜在的受侵组织，基于患者的CT或MRI影像，准确勾画出患者靶区的边界，这一过程在放疗中称为靶区勾画。靶区勾画是放疗的关键一步，靶区勾画范围太大将使正常器官受到辐射影响，而勾画范围过小将无法实现癌症的有效治疗。

现有的靶区勾画主要以医生手动勾画为主，根据病种不同，医生手动勾画一个病例通常需要花费若干小时的时间。手动勾画指医生基于患者的CT影像，逐张地去勾画出靶区以及危及器官。手动勾画的过程不仅耗时耗力，且勾画的准确度依赖于医生的主观经验，已有研究表明，不同医生间的勾画结果差异较大。除开医生手动勾画，目前也已有软件可实现自动勾画，这些软件主要以自动勾画危及器官为主，大部分不涉及靶区的自动勾画。这些软件使用的方法主要以模板匹配为主，即预先定义好一个模板，包括CT以及标准的勾画结果，当有一个新的待勾画的CT数据时，计算模板CT至新的CT的形变矩阵，并将该形变矩阵应用至模板的勾画结果上，即可得到新的CT数据对应的勾画结果。

从模板匹配方法的计算流程中可以看出，基于模板匹配的自动勾画的精度取决于模板是否合理，以及待勾画CT数据与模板CT间的差异。在现实情况中，病人间的个体差异往往较大，往往难以定义一个通用的模板来满足勾画的需求，这些因素严重影响了自动勾画的精度。

发明内容

本发明的目的是提供一种基于深度神经网络的鼻咽癌放疗靶区自动分割方法，能够在短时间内自动输出鼻咽癌放疗靶区以及危及器官的分割结果。

本发明解决其技术问题，采用的技术方案是：基于深度神经网络的鼻咽癌放疗靶区自动分割方法，包括：

获取患者的CT图像数据，基于所述CT图像数据勾画鼻咽癌放疗靶区和危及器官，并将勾画后的CT图像数据划分为训练集和验证集；

构建深度神经网络分割模型，并对训练集中的训练样本进行预处理，利用预处理后的训练样本训练深度神经网络分割模型，所述预处理包括将训练样本的数值范围缩小至规定范围和增广训练样本；

将验证集中的训练样本的数值范围缩小至规定范围，并输入至训练好的深度神经网络分割模型中，对模型的识别效果进行定量评价。

进一步的是，通过CT机采集拍摄患者的断层扫描图像，来获取患者的CT图像数据。

进一步的是，当获取到患者的CT图像数据后，手动勾画其中的靶区以及危及器官，作为训练和验证模型的数据。

进一步的是，所述训练集和验证集的划分比例为4：1。

进一步的是，所述构建的深度神经网络分割模型包括编码器、多尺度模块和解码器；

所述编码器，用于从输入的经预处理后的CT图像数据中提取到具有平移不变性的抽象特征，并输出至多尺度模块；

所述多尺度模块，位于编码器中，用于在所述具有平移不变性的抽象特征中提取不同尺度大小的抽象特征，并输出至解码器；

所述解码器，用于将所述不同尺度大小的抽象特征恢复到原始输入图像的大小，并预测该输入图像中每个像素所属的类别，完成像素级别的分割任务。

进一步的是，所述编码器包括多个卷积和池化层，通过卷积的各个卷积核在输入图像中进行滑动，通过池化层在不增加可学习参数的情况下，对输入图像的特征进行降维，通过多个卷积和池化层的配合使用，从输入的经预处理后的CT图像数据中提取到具有平移不变性的抽象特征。

进一步的是，所述多尺度模块包括五个部分，具体为：1x1 conv、3个卷积核大小为3x3的空洞卷积和全局均值池化；

所述1x1 conv代表卷积核大小为1x1的卷积操作；

所述3个卷积核大小为3x3的空洞卷积中各空洞率卷积的空洞率分别为6、12和18，根据空洞率的不同各空洞卷积具有不同大小的感知视野；

通过上述五个部分的操作，将其分别的输出在通道维度上拼接起来，输出至解码器。

进一步的是，所述解码器的输入来自于多尺度模块的深层特征，以及编码器隐层的浅层特征，并对深层特征和浅层特征进行融合，并采用双线性插值的方式将对融合后的特征进行一定倍率的上采样，从而完成像素级别的分割任务。

进一步的是，在构建完深度神经网络分割模型后，对模型进行训练，训练的目标是找到一组合适的权值，使得网络对目标函数最小，其具体步骤包括：

a、CT图像数据预处理：对输入的CT图像根据窗位进行归一化操作，将训练样本的数值范围缩小至规定范围，并进行随机翻转、平移和旋转，扩充训练样本的多样性；

b、前向计算：对一个L层的前馈神经网络，设其训练样本集合为X∈R^m×n，其中，m为单个样本的维度，n表示训练样本的个数,那么，第i个样本可表示为X_i，设第l层的第j个神经元到l+1层的第k个神经元连接权值记为

那么，第l层到l+1层的连接权值矩阵W^(l)，设第l层上神经元的激活函数为f(·)，从输入层到输出层，不断进行前向计算，其过程为：

其中，a_i ^l表示第l层神经元对于第i个样本的激活值，那么，网络输出层神经元的激活值为：

a_i ^L＝f^(L-1)(W^(L-1)·f^(L-2)(W^(L-2)…a_i ⁰))；

c、权值更新：神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：

其中

与d_i分别代表网络最后一层的输出与标签，网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值，梯度下降算法如下：

其中α代表的是学习率常数。

进一步的是，在深度神经网络分割模型训练完成之后，定量地评价模型在测试集上的识别效果，常用的评价指标包括TPVF、PPV、DSC，其定义如下：

其中，V_S与V_G分别代表模型预测的正样本像素数目与真实正样本像素数目，TPVF代表所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是真实的正样本，DSC则是一种同时权衡了TPVF和PPV的指标。

本发明的有益效果是，通过上述基于深度神经网络的鼻咽癌放疗靶区自动分割方法，由深度神经网络分割模型自动分割放疗中的靶区和危及器官，模型训练完成后，仅需输入患者的CT图像，模型即可自动输出靶区以及危及器官的分割结果，该过程不需要人工提取特征或设定参数。并且，深度神经网络模型经训练完成后，能在数分钟内快速分割出患者的靶区以及危及器官，有效提高了放疗科医生的工作效率，加速了患者的放疗方案制定。

附图说明

图1为本发明基于深度神经网络的鼻咽癌放疗靶区自动分割方法的流程图；

图2为本发明实施例中整体流程示意图；

图3为本发明实施例中深度神经网络分割模型示意图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

本发明提出一种基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其流程图见图1，其中，该方法包括：首先，获取患者的CT图像数据，基于CT图像数据勾画鼻咽癌放疗靶区和危及器官，并将勾画后的CT图像数据划分为训练集和验证集；其次，构建深度神经网络分割模型，并对训练集中的训练样本进行预处理，利用预处理后的训练样本训练深度神经网络分割模型，其中，预处理包括将训练样本的数值范围缩小至规定范围和增广训练样本；最后，将验证集中的训练样本的数值范围缩小至规定范围，并输入至训练好的深度神经网络分割模型中，对模型的识别效果进行定量评价。

这里，通过训练好的深度神经网络分割模型，只需输入患者的CT图像数据，模型即可自动勾画靶区和危及器官，且勾画时间一般较短，仅需几分钟，便可完成全部勾画过程，大大提高了鼻咽癌放疗靶区的勾画效率。

实施例

本实施例提供的一种基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其整体流程示意图见图2，本实施例与传统的基于手工特征的分割方法不同，深度神经网络会自动地从数据中学习如何提取任务相关的抽象特征，其提取到的特征具有更强的表达能力与更高的平移不变性。

本实施例中所提供的分割方法大体分为三个步骤：数据获取、模型训练和模型验证。

具体应用过程中，训练深度神经网络往往需要大量带标签的数据，因此流程的第一步为数据获取，具体包含以下步骤：

(1a)CT图像采集：可以由专业的CT机采集拍摄患者的断层扫描图像；

(1b)基于CT图像勾画靶区以及危及器官：放疗科医生对获取到的CT图像手动勾画其中的靶区以及危及器官；

(1c)数据集划分：为了训练和验证深度神经网络模型，将勾画后的CT数据集按照4：1分为训练集和验证集。

需要指出的是，在数据获取完成后，需要利用获取的数据进行模型训练。一遍来说，神经网络由神经元以及神经元之间的连接组成。神经网络分为输入层、隐藏层和输出层。深度神经网络通过多个隐藏层从输入图像中提取抽象特征，并由输出层根据提取到的特征进行预测。深度神经网络与浅层神经网络相比，“深度”体现在隐层数量更多，连接方式更加灵活和复杂，具有更强大的非线性表达能力，能从输入图像中提取到更本质特征，从而实现更高精度的预测。本实施例中，设计的深度神经网络模型包括三个模块，深度神经网络分割模型示意图见图3。其中：

编码器：编码器由一系列的卷积、池化层构成，用于从输入的CT图像中提取抽象特征。卷积是神经元之间的一种特殊的连接方式，其通过小卷积核(如3x3大小)在输入中进行滑动，具有特征复用、参数量小等优点，适合于处理图像等类型的空间数据。池化是另一种特殊的特征处理方式，其目的在于不增加可学习参数的情况下，对特征进行降维。卷积与池化层配合使用后，可以从输入的OCT图像中提取到具有平移不变性的抽象特征。

多尺度模块：多尺度模块位于编码器中，用于处理编码器中特征提取网络输出的抽象特征。多尺度模块由5个部分构成，其中1x1 conv代表卷积核大小为1x1的卷积操作，此外还有3个卷积核大小为3x3的空洞卷积，即dconv(dilated convolution)，其中变量r代表空洞率，最后还包括一个全局均值池化(Global average pooling)。这5个操作的输出将在通道维度上拼接起来，并输出给解码器。由于空洞率不同，该多尺度模块中的各空洞卷积具有不同大小的感知野，可用于从输入的OCT图像中提取不同尺度大小的抽象特征，提高模型的鲁棒性。

解码器：解码器的目的在于将特征恢复到原始输入的大小，并预测每个像素所属类别。解码器的输入来自于多尺度模块的深层特征，以及编码器隐层的浅层特征，解码器融合了深层特征与浅层特征，从而提高特征复用，加速模型的收敛。其中解码器中的Upsample模块采用双线性插值的方式将对特征进行一定倍率的上采样，从而完成像素级别的分割任务。

在构建完深度神经网络模型后，即可对模型进行训练。训练的目标是找到一组合适的权值，使得网络对目标函数最小。具体步骤包括：

a、CT图像数据预处理：对输入的CT图像根据窗位进行归一化操作，将训练样本的数值范围缩小至规定范围，并进行随机翻转、平移和旋转，扩充训练样本的多样性；

b、前向计算：对一个L层的前馈神经网络，设其训练样本集合为X∈R^m×n，其中，m为单个样本的维度，n表示训练样本的个数,那么，第i个样本可表示为X_i，设第l层的第j个神经元到l+1层的第k个神经元连接权值记为

那么，第l层到l+1层的连接权值矩阵W^(l)，设第l层上神经元的激活函数为f(·)，从输入层到输出层，不断进行前向计算，其过程为：

其中，a_i ^l表示第l层神经元对于第i个样本的激活值，那么，网络输出层神经元的激活值为：

a_i ^L＝f^(L-1)(W^(L-1)·f^(L-2)(W^(L-2)…a_i ⁰))；

c、权值更新：神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：

其中

与d_i分别代表网络最后一层的输出与标签，网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值，梯度下降算法如下：

其中α代表的是学习率常数。

在深度神经网络分割模型训练完成之后，定量地评价模型在测试集上的识别效果，常用的评价指标包括TPVF、PPV、DSC，其定义如下：

其中，V_S与V_G分别代表模型预测的正样本像素数目与真实正样本像素数目，TPVF代表所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是真实的正样本，DSC则是一种同时权衡了TPVF和PPV的指标。

本实施例中，模型在编码器阶段采用了多个多尺度模块，可有效提取不同大小病灶的抽闲特征，具有较强的鲁棒性。并且，由于解码器同时接收深层与浅层特征作为输入，分割模型训练阶段具有较快的收敛速度。因此，本实施例中基于深度神经网络的鼻咽癌放疗靶区自动分割方法可在短时间内自动输出鼻咽癌放疗靶区以及危及器官的分割结果。

Claims (10)

1.基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，包括：

获取患者的CT图像数据，基于所述CT图像数据勾画鼻咽癌放疗靶区和危及器官，并将勾画后的CT图像数据划分为训练集和验证集；

构建深度神经网络分割模型，并对训练集中的训练样本进行预处理，利用预处理后的训练样本训练深度神经网络分割模型，所述预处理包括将训练样本的数值范围缩小至规定范围和增广训练样本；

将验证集中的训练样本的数值范围缩小至规定范围，并输入至训练好的深度神经网络分割模型中，对模型的识别效果进行定量评价。

2.根据权利要求1所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，通过CT机采集拍摄患者的断层扫描图像，来获取患者的CT图像数据。

3.根据权利要求2所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，当获取到患者的CT图像数据后，手动勾画其中的靶区以及危及器官，作为训练和验证模型的数据。

4.根据权利要求1所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，所述训练集和验证集的划分比例为4：1。

5.根据权利要求1所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，所述构建的深度神经网络分割模型包括编码器、多尺度模块和解码器；

所述编码器，用于从输入的经预处理后的CT图像数据中提取到具有平移不变性的抽象特征，并输出至多尺度模块；

所述多尺度模块，位于编码器中，用于在所述具有平移不变性的抽象特征中提取不同尺度大小的抽象特征，并输出至解码器；

所述解码器，用于将所述不同尺度大小的抽象特征恢复到原始输入图像的大小，并预测该输入图像中每个像素所属的类别，完成像素级别的分割任务。

6.根据权利要求5所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，所述编码器包括多个卷积和池化层，通过卷积的各个卷积核在输入图像中进行滑动，通过池化层在不增加可学习参数的情况下，对输入图像的特征进行降维，通过多个卷积和池化层的配合使用，从输入的经预处理后的CT图像数据中提取到具有平移不变性的抽象特征。

7.根据权利要求5所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，所述多尺度模块包括五个部分，具体为：1x1 conv、3个卷积核大小为3x3的空洞卷积和全局均值池化；

所述1x1 conv代表卷积核大小为1x1的卷积操作；

所述3个卷积核大小为3x3的空洞卷积中各空洞率卷积的空洞率分别为6、12和18，根据空洞率的不同各空洞卷积具有不同大小的感知视野；

通过上述五个部分的操作，将其分别的输出在通道维度上拼接起来，输出至解码器。

8.根据权利要求5所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，所述解码器的输入来自于多尺度模块的深层特征，以及编码器隐层的浅层特征，并对深层特征和浅层特征进行融合，并采用双线性插值的方式将对融合后的特征进行一定倍率的上采样，从而完成像素级别的分割任务。

9.根据权利要求5-8任意一项所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，在构建完深度神经网络分割模型后，对模型进行训练，训练的目标是找到一组合适的权值，使得网络对目标函数最小，其具体步骤包括：

a、CT图像数据预处理：对输入的CT图像根据窗位进行归一化操作，将训练样本的数值范围缩小至规定范围，并进行随机翻转、平移和旋转，扩充训练样本的多样性；

b、前向计算：对一个L层的前馈神经网络，设其训练样本集合为X∈R^m×n，其中，m为单个样本的维度，n表示训练样本的个数,那么，第i个样本可表示为X_i，设第l层的第j个神经元到l+1层的第k个神经元连接权值记为

那么，第l层到l+1层的连接权值矩阵W^(l)，设第l层上神经元的激活函数为f(·)，从输入层到输出层，不断进行前向计算，其过程为：

其中，a_i ^l表示第l层神经元对于第i个样本的激活值，那么，网络输出层神经元的激活值为：

a_i ^L＝f^(L-1)(W^(L-1)·f^(L-2)(W^(L-2)…a_i ⁰))；

c、权值更新：神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：

其中

与d_i分别代表网络最后一层的输出与标签，网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值，梯度下降算法如下：

其中α代表的是学习率常数。

10.根据权利要求9所述的基于深度神经网络的鼻咽癌放疗靶区自动分割方法，其特征在于，在深度神经网络分割模型训练完成之后，定量地评价模型在测试集上的识别效果，常用的评价指标包括TPVF、PPV、DSC，其定义如下：

其中，V_S与V_G分别代表模型预测的正样本像素数目与真实正样本像素数目，TPVF代表所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是真实的正样本，DSC则是一种同时权衡了TPVF和PPV的指标。

Images