CN112669319A - 一种多视角多尺度淋巴结假阳性抑制建模方法 - Google Patents

Abstract

本发明涉及一种多视角多尺度淋巴结假阳性抑制建模方法。本发明公开了一种放射治疗自动计划设计系统及其构建方法，涉及放射治疗计划系统领域，包括计划设计辅助轮廓生成模块、处方设置模块、添加射野模块、深度神经网络剂量预测模块及优化目标函数生成及计划设计模块；所述深度神经网络剂量预测模块用于根据同病种获取的数据，对逆向优化过程给出合理的剂量设计目标；本发明深度神经网络模型经训练完成后，能在数分钟内快速预测出放射治疗患者剂量分布情况，并自动进行放射治疗计划设计，有效提高了放疗科医生的工作效率，加速了患者的放疗方案制定。

Description

一种多视角多尺度淋巴结假阳性抑制建模方法

技术领域

本发明涉及医学影像和人工智能领域，具体的涉及一种多视角多尺度淋巴结假阳性抑制建模方法。

背景技术

结直肠癌是胃肠道中的常见恶性肿瘤。我国属于结直肠癌低发地区，但今年来结直肠癌发病有显著上升趋势，发病率及死亡率日益升高。目前最有效的方式是肠镜下的组织活检，但存在一定的风险性，因此精准、无创影像学的方法成为了现在研究热门。

在智能影响学研究中，基于深度学习的淋巴结自动检测是重要的研究方向，Fast-RCNN, YOLO等深度学习领域中热门的检测算法也在肺部淋巴结智能检测中大放异彩，辅助医生提高检测的准确率。但与肺部淋巴结不同的是，结直肠淋巴结体积小、与周围组织粘连性高、与血管等部位的影像学差异小等特点，因此检测难度较大。在实际使用中，为了保持确保结节检测的召回率，并且降低漏检率，检测中不可避免地引入大量假阳性样本，加上结直肠部位中大量存在相似组织血管等，极易把相似组织后血管断层判定成为结节。因此在检测结节的同时产生大量假阳性结节，造成了检测准确率不高的问题。

本发明所要解决的技术问题是：提供一种高效的淋巴结假阳性抑制建模方法，采用多尺度多视角结合的方法，在保留正确结节检出率的前提下，最大程度上抑制检测的假阳性，提高结节检测准确率。

发明内容

本发明的目的在于：针对上述存在的问题，本发明提供一种多视角多尺度淋巴结假阳性抑制建模方法。

本发明采用的技术方案如下：

一种多视角多尺度淋巴结假阳性抑制建模方法，包括如下步骤：

步骤1、通过CT检测，获取肺部的初始CT图像，对初始CT图像进行预处理，获得标准CT影像；

步骤2、对标准CT影像进行切片处理，得到固定大小的CT切片，将固定大小的CT切片输入到候选结节检测模型，获取候选结节三维坐标；

步骤3、将步骤2中获取的候选结节进行阳性结节与假阳性结节标注，并经过处理后输入到模型中，训练结节假阳性分类预测模型，最后得到结节假阳性分类模型。

优选地，对步骤1中的CT图像预处理包括：将胃肠部的CT图像的HU值截取值软组织区间[-100, 200] HU，CT影像分辨率为0.75-1mm，层厚为1mm，并对图像像素值归一化至[0,1]，获得标准CT影像。

优选地，步骤2中结节检测模型为医学类CAD诊断系统，采用医学类CAD诊断系统来检测胃肠淋巴结；采用随机森林分类器，获得检测结节三维坐标。通过这种方法，在94%的敏感度的情况下，平均会得到25-35 FP/vol的假阳性结节数。采样其他系统，敏感度能达到100%，但会带来更多的假阳性结节。

优选地，步骤3对阳性结节与假阳性结节标注后的处理包括：以标注后的候选结节体素位置为中心，以某一尺寸为半径，获取候选结节矢状位、冠状位、轴状位的三视图，将单通道三视图叠加成三通道图，这样一张图像中即包含了结节多视角信息，再将叠加后的三通道图放入模型中训练。

由于结直肠部结节大小差异较大，结节直径小到3mm，大到50mm以上，若仅采用同一尺寸半径，对于小结节会获取过多冗余的背景信息，导致特征数据不明显，影响预测准确率，对于大结节无法显示结节完整结构图；优选地，所述的尺寸包括3种不同尺度半径截取结节三视图，分别训练三种分类模型，最后采用分类模型的集成学习方法，取三个模型预测结果的平均值，为最终的预测结果。

步骤3中的预测模型的选择上，本发明采用了现在较为成熟的ResNet18模型，并根据实际情况进行了修改。

ResNet18模型包含多次下采样操作，将原本224*224尺寸图像的输入下采样为7*7的输入特征图；而对于结节图像，尺寸往往较小，本发明中的多尺寸采用，结节尺寸包含24、32、54三种，若采用原始ResNet模型，输出特征图尺寸过小，很可能无法体现出图像特征，因此，本发明将ResNet进行了部分修改，为去掉了最后两个残差模块，即同时去掉了两次下采样操作，提高了网络输入的特征尺寸，保留了图像更多的特征信息。去掉模型后两个残差模块，能够减少模型参数，在训练数据集整体数量不大的情况下，能够有效避免过拟合的情况，并且节约大量的硬件计算资源与计算时间。同时为提高训练效果，修改后的ResNet18模型加载了ImageNet的前两层预训练参数。

由于检测包含大量假阳性数据，数据集中正例的结节与负例的假阳性结节构成了不平衡数据集，因此需要对正例结节进行数据增强。在步骤3中，在步骤3中，在进行阳性结节与假阳性结节标注并经过处理后，且在训练结节假阳性分类模型之前需要构建合适数据集，首先将正例与负例按7:3比例分别构成训练集与测试集，在训练集中对正例数据进行数据增强，将训练集中正例数据按50%概率水平翻转，50%概率垂直翻转，以及随机在距离边缘的0到4像素范围中进行crop操作，由于三个通道的图像有相互正交的先验条件，因此不能对图像进行任意角度选择，只能进行90°或-90°的角度旋转，保证三个通道图像的正交关系不变；数据增强后可构建出正负类关系平衡的训练数据集，用于训练分类模型。

优选地，所述结节假阳性分类模型的参数包括：输入模型的结节多视角数据，模型训练的迭代次数为50-100， 每次迭代的批次为16或32，学习率不高于0.0001；在分类模型中，损失函数选择交叉熵损失函数：

其中

表示样本i的label,正类为1，负类为0；p_i表示样本i预测为正的概率，N是代表分类的个数，i是第多少个分类。在本发明中，虽然对数据集的正例数据进行了数据增强，生成了平衡数据集，但任务本身对于正类预测的准确性要求更高，即把正例预测为负例的危害性大于把负例预测为正例，因此对于不同的分类加上了不同的权重，正例权重为负例的2-5倍，提高对于正例结节的分类效果，最大程度保持医学类CAD诊断系统的检测敏感性。

优选地，采用的三种直径尺度24，32，54像素对应成物理直径，分别可以覆盖60%，80%，99%的淋巴结直径，按照结节数目比例约为3:1:1，因此分别为三种直径尺度设置0.6，0.2，0.2的权重，采用加权平均的方法统计各个模型的预测结果，生成最终预测结果；

在预测时，采用下列公式预测结节概率：

其中，p_i(x)是单个模型的预测结果，w_i是第i个模型预测的权重，N是模型总数，即对结节的预测概率为多个模型预测概率的评价值。

与现有的技术相比本发明的有益效果是：

1）相比于传统方法要获得结节3D信息分类（通常有两种方法，一是采用3D-CNN，将一个N*N*N的三维数据输入至3D-CNN进行分类处理，能够获得结节完全的三维数据，但是训练速度慢，而且模型参数多，收敛的难度大，需要大量的训练集数据；二是利用多个二维模型，分别训练结节不同视角的影像，再通过融合方法将多个模型的预测结果综合起来判断，这种方法需要训练多个模型，对多个模型调优，工程量较大）；本发明将候选结节三视图生成三通道图，一张图即可获得候选结节多视角信息；

2）本发明对结节多尺度的预测结果进行了融合，提高了结节大小对预测结果的鲁棒性；

3）本发明针对实际情况对热门的ResNet18模型进行了修改，对于小尺度CNN图像分类，取消了后两个残差模块，取消了两次下采样操作，扩大了输出的特征图，保留了更多的图像特征信息，并且由于医学图像通常数据较少，大型模型参数量大，对小规模数据集容易过拟合，取消后两个残差模块大大减少了参数量，降低了模型过拟合的情况；

4）本发明针对任务实际情况，任务本身对于正类预测的准确性要求更高，即把正例预测为负例的危害性大于把负例预测为正例，因此对于不同的分类加上了不同的权重，正例权重为负例的2倍，提高对于正例结节的分类效果，最大程度保持医学类CAD诊断系统的检测敏感性。

附图说明

图1为本发明的整体流程图；

图2为本发明的统计的600个结节的直径分布情况图；

图3为本发明的三视图生成三通道图的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，一种多视角多尺度淋巴结假阳性抑制建模方法，包括如下步骤：

步骤1、通过CT检测，获取肺部的初始CT图像，对初始CT图像进行预处理，获得标准CT影像；

步骤2、对标准CT影像进行切片处理，得到固定大小的CT切片，将固定大小的CT切片输入到候选结节检测模型，获取候选结节三维坐标；

步骤3、将步骤2中获取的候选结节进行阳性结节与假阳性结节标注，并经过处理后输入到模型中，训练结节假阳性分类模型，最后得到结节假阳性分类模型。

其中，对步骤1中的CT图像预处理包括：将胃肠部的CT图像HU值截取值软组织区间[-100, 200] HU，CT影像分辨率为1mm，层厚为1mm，并对图像像素值归一化至[0, 1]，获得标准CT影像。

其中，步骤2中结节检测模型为医学类CAD诊断系统，采用医学类CAD诊断系统来检测胃肠淋巴结；采用随机森林分类器，获得检测结节三维坐标。通过这种方法，在94%的敏感度的情况下，平均会得到25-35 FP/vol的假阳性结节数（如图2所示）。采样其他系统，敏感度能达到100%，但会带来更多的假阳性结节。

其中，步骤3对结节的处理包括：以标注后的候选结节体素位置为中心，以某一尺寸为半径，获取候选结节矢状位、冠状位、轴状位的三视图，将单通道三视图叠加成三通道图，这样一张图像中即包含了结节多视角信息，再将叠加后的三通道图放入模型中训练（如图3所示）。

其中，所述的尺寸包括3种不同尺度半径截取结节三视图，分别训练三种分类模型，最后采用分类模型的集成学习方法，取三个模型预测结果的平均值，为最终的预测结果。

结节预测模型的选择上，本发明采用了现在较为成熟的ResNet18模型，并根据实际情况进行了修改。提高了网络输入的特征尺寸，保留了图像更多的特征信息。去掉模型后两个残差模块，能够减少模型参数，在训练数据集整体数量不大的情况下，能够有效避免过拟合的情况，并且节约大量的硬件计算资源与计算时间。同时为提高训练效果，修改后的ResNet18模型加载了ImageNet的前两层预训练参数。

在步骤3中，训练模型之前需要构建合适数据集，首先将正例与负例按7:3比例分别构成训练集与测试集，在训练集中对正例数据进行数据增强，将训练集中正例数据按50%概率水平翻转，50%概率垂直翻转，以及随机在距离边缘的0到4像素范围中进行crop操作，由于三个通道的图像有相互正交的先验条件，因此不能对图像进行任意角度选择，只能进行90°或-90°的角度旋转，保证三个通道图像的正交关系不变；数据增强后可构建出正负类关系平衡的训练数据集，用于训练分类模型。

其中，所述模型的参数包括：输入模型的结节多视角数据，模型训练的迭代次数为100， 每次迭代的批次为32，学习率为0.0001；在分类模型中，损失函数选择交叉熵损失函数：

其中

表示样本i的label,正类为1，负类为0；

表示样本i预测为正的概率，N是代表分类的个数，i是第多少个分类。在本发明中，虽然对数据集的正例数据进行了数据增强，生成了平衡数据集，但任务本身对于正类预测的准确性要求更高，即把正例预测为负例的危害性大于把负例预测为正例，因此对于不同的分类加上了不同的权重，正例权重为负例的2倍，提高对于正例结节的分类效果，最大程度保持医学类CAD诊断系统的检测敏感性。

其中，采用的三种直径尺度24，32，54像素对应成物理直径，分别可以覆盖60%，80%，99%的淋巴结直径（如图2所示），按照结节数目比例约为3:1:1，因此分别为三种直径尺度设置0.6，0.2，0.2的权重，采用加权平均的方法统计各个模型的预测结果，生成最终预测结果；

在预测时，采用下列公式预测结节概率：

其中，

是单个模型的预测结果，

是第i个模型预测的权重，N是模型总数，即对结节的预测概率为多个模型预测概率的评价值。

在训练时，迭代次数50次时可达到足够的收敛情况，训练acc值≈0.990。 在测试集上，在保证83%的检测敏感度的情况下，可以将检测假阳性降低至3FP/vol，相比于之前的最好的工作结果，70.5%的敏感度下3.1FP/vol，有了很大的提升。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (8)

1.一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，包括如下步骤：

步骤1、通过CT检测，获取肺部的初始CT图像，对初始CT图像进行预处理，获得标准CT影像；

步骤2、对标准CT影像进行切片处理，得到固定大小的CT切片，将固定大小的CT切片输入到候选结节检测模型，获取候选结节三维坐标；

步骤3、将步骤2中获取的候选结节进行阳性结节与假阳性结节标注，并经过处理后输入到预测模型中，训练结节假阳性分类模型，最后得到结节假阳性分类模型。

2.根据权利要求1所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，对步骤1中的CT图像预处理包括：将胃肠部的CT图像的HU值截取软组织区间[-100, 200]HU，CT影像分辨率为0.75-1mm，层厚为1mm，并对图像像素值归一化至[0, 1]，获得标准CT影像。

3.根据权利要求1所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，步骤2中结节检测模型为医学类CAD诊断系统，采用医学类CAD诊断系统来检测胃肠淋巴结；采用随机森林分类器，获得检测结节三维坐标。

4.根据权利要求1所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，步骤3对阳性结节与假阳性结节标注后的处理包括：以标注后的候选结节体素位置为中心，获取候选结节矢状位、冠状位、轴状位的三视图，将单通道三视图叠加成三通道图，再将叠加后的三通道图放入模型中训练。

5.根据权利要求1所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，步骤3中的预测模型为修改后的ResNet18模型。

6.根据权利要求5所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，修改后的ResNet18模型为去掉了最后两个残差模块的ResNet18模型，即同时去掉了两次下采样操作的ResNet18模型。

7.根据权利要求1所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，在步骤3中，在进行阳性结节与假阳性结节标注并经过处理后，且在训练结节假阳性分类模型之前需要构建数据集，首先将正例与负例按7:3比例分别构成训练集与测试集，在训练集中对正例数据进行数据增强，将训练集中正例数据按50%概率水平翻转，50%概率垂直翻转，以及随机在距离边缘的0到4像素范围中进行crop操作，只能进行90°或-90°的角度旋转，保证三个通道图像的正交关系不变；数据增强后构建出正负类关系平衡的训练数据集，用于训练结节假阳性分类模型。

8.根据权利要求7所述的一种多视角多尺度淋巴结假阳性抑制建模方法，其特征在于，在分类模型中，损失函数选择交叉熵损失函数：

其中y_i表示样本i的label,正类为1，负类为0；p_i表示样本i预测为正的概率，N是代表分类的个数，i是第多少个分类，L_i是第i个分类的损失函数。

Images