CN116797596B - 一种肺结节所属肺段识别模型和训练方法 - Google Patents

Abstract

本发明一种肺结节所属肺段识别模型和训练方法，不依赖于肺段分割mask，兼顾推理速度和准确度，且避免了巨大的标注成本。所述模型根据第一输入数据和第二输入数据，预测肺结节所属肺段，所述第一输入数据，包含根据肺结节位置中心坐标，从肺部图像中切割出的肺结节的图像信息数据、从肺部mask中切割出的肺结节对应的肺叶mask信息数据、从肺部图像归一化每一点的坐标信息后的坐标信息块中切割出的肺结节对应的位置信息数据；所述第二输入数据，包含肺结节所在肺叶mask位置中各肺叶标签的占比作为该肺结节的肺叶百分比信息。

Description

一种肺结节所属肺段识别模型和训练方法

技术领域

本发明涉及医学图像的肺结节识别技术领域，尤其涉及肺结节所属肺段的识别技术。

背景技术

随着医疗影像技术的提高，高分辨率扫描使得图像数量增加，开发计算机辅助检测技术能够有效的提高肺结节诊断的效率。近年来，深度卷积神经网络在图像分类和目标检测等任务上表现出了优异的性能。随着大量肺部图像数据集的公开，深度卷积网络也逐渐成为肺结节检测的主流方法。

在此基础上延伸出多种更进一步的需求，其中对肺结节所属肺段的识别可为临床上提供肺结节所在肺段信息，以便更精细的掌握肺结节的位置信息。

肺段为支气管肺段的简称，是每一肺段支气管及其分支分布的肺组织。每一肺段支气管及其分支分布的肺组织称为支气管肺段这在肺癌手术治疗规划中具有重要作用，有利于肺功能的保存，保证低复发率。

目前，肺结节所属肺段识别在技术上主要有以下2种方式：

（1）分割方式：基于深度学习方法训练肺段分割模型，根据肺段分割mask判断结节所在肺段。这一方法的准确度主要依赖于肺段分割模型，因此在模型构建中需要手工标注大量的肺段分割数据，标注成本巨大。

（2）配准方式：采用图像配准方法，根据已知CT图像和肺段分割模板，通过配准得到新CT图像对应的肺段分割mask，然后根据肺段分割mask判断结节所在肺段。该方法普遍存在推理耗时较长，并且这一方法基于配准获得的肺段分割mask造成准确度欠佳的问题。

总之，现有技术中的两种方式基本思想都是基于肺段分割mask，或是基于深度学习获得的肺段分割mask，或是基于图像配准获得的肺段分割mask，均不能实现避免了巨大的标注成本的同时，兼顾推理速度和准确度。

发明内容

本发明是为了克服现有技术中的肺结节所属肺段识别方法的上述不足之处，提供一种肺结节所属肺段识别模型和训练方法，不依赖于肺段分割mask，兼顾推理速度和准确度，且避免了巨大的标注成本。

为实现上述目的，本发明采用以下技术方案：

本发明提供一种肺结节所属肺段识别模型，所述模型根据第一输入数据和第二输入数据，预测肺结节所属肺段，

所述第一输入数据，包含根据肺结节位置中心坐标，从肺部图像中切割出的肺结节的图像信息数据、从肺叶分割mask中切割出的肺结节对应的肺叶mask块、从肺部图像归一化每一点的坐标信息后的坐标信息块中切割出的肺结节对应的位置信息数据；

所述第二输入数据，包含肺结节所在肺叶分割mask位置中各肺叶标签的占比作为该肺结节的肺叶百分比信息；

所述模型包括多层的特征提取层和预测层；

所述特征提取层，用于处理第一输入数据，经过多层的特征提取层后获得最终特征提取图，

所述预测层，包括自适应均值池化层和全连接层，用于将自适应均值池化层处理后的最终特征提取图与第二输入数据拼接，通过全连接层进行肺段类别预测。

本发明同时提供基于上述肺结节所属肺段识别模型的模型训练方法。

现有技术中的肺结节所述肺段的识别方法，基本思想都是都是直接基于肺段分割mask实现的，只是肺段分割mask的获取方式有所区别，基于深度学习获得的肺段分割mask，或是基于图像配准获得的肺段分割mask。但是前者获得肺段分割mask需要大量的巨大的标注成本的同时，后者则获得的肺段分割mask进度有限，无法兼顾推理速度和准确度。

但是本方案和现有技术最大的区别在于不再依赖于肺段分割mask，而是基于肺结节所在位置的肺部图像信息、肺叶mask块和位置信息，进行深度学习模型的构建，实现对于肺结节所属肺段的识别预测。因为目前肺结节检测模型和肺叶分割模型技术已经较为成熟，因此不再需要大量的标注成本，而且精度也有保证，并且只是处理识别第一输入数据和第二输入数据，处理数据体量更小，因此预测效率也能够保证。

附图说明

图1为本发明的一种肺结节所属肺段识别模型的结构示意图。

图2为本发明的一种肺结节所属肺段识别模型的应用示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步描述。

如图1、图2所示，本发明的一种肺结节所属肺段识别模型，所述模型根据第一输入数据和第二输入数据，预测肺结节所属肺段。

所述第一输入数据，包含根据肺结节位置中心坐标，从肺部图像中切割出的肺结节的图像信息数据、从肺叶分割mask中切割出的肺结节对应的肺叶mask块、从肺部图像归一化每一点的坐标信息后的坐标信息块中切割出的肺结节对应的位置信息数据。

所述的肺部图像和肺叶mask块已经经过刚性配准处理。

所述第二输入数据，包含肺结节所在肺叶分割mask位置中各肺叶标签的占比作为该肺结节的肺叶百分比信息。

所述模型包括多层的特征提取层和预测层；

所述特征提取层，用于处理第一输入数据，经过多层的特征提取层后获得最终特征提取图，

所述预测层，包括自适应均值池化层和全连接层，用于将自适应均值池化层处理后的最终特征提取图与第二输入数据拼接，通过全连接层进行肺段类别预测。

肺段属性共包括18个肺段类别和叶间裂，共19类。若结节在叶间裂上而不属于任何肺段，则标记为叶间裂，

如图2所示，所述特征提取层，包括三个Res2Net 3d模块组和3D池化模块的组合、以及第四Res2Net 3d模块组。所述的Res2Net 3d模块组包括两个Res2Net 3d模块。该模块采用了一种简单而有效的多尺度处理方法，通过多个可用感受野在更细粒度的层次上提高了多尺度表示能力。

第一输入数据经过所述三个Res2Net 3d模块组和3D池化模块的组合的处理后结果的中心特征区域对应的特征块，与第四Res2Net模块组后的特征图进行拼接融合，得到最终特征提取图。

该步骤中，所述中心特征区域对应的特征块是指处理结果中心6×6×6的特征区域对应的特征块。该步骤的主要目的是通过多尺度融合加强特征提取能力，取中心6×6×6区域就是侧重于中心区域，这是因为第一输入数据均是以肺结节位置中心坐标切割获得一系列图像、mask和位置信息数据，这样更利于肺结节位置中心区域的特征提取。

所述第一输入数据的预处理方法包括以下步骤：

获取三维胸部CT图像，对应肺叶分割mask和肺结节定位信息。

所述模型在训练阶段采用人工标记肺结节定位信息和所属肺段，人工标记的肺结节所属肺段作为肺结节所属肺段识别模型的监督信息，采用基于深度学习的肺叶分割模型获得肺叶分割mask。

所述模型在推理阶段采用基于深度学习的肺结节检测模型和肺叶分割模型，分别获取三维胸部CT图像中肺结节的位置信息和肺叶分割mask。

肺结节定位信息标记方式采用BBox坐标形式进行标记，即[ymin, ymax, xmin,xmax, zmin, zmax]形式。肺段信息包括左肺上叶尖后段、右肺中叶外段、右肺中叶内段等标签，若结节在叶间裂上而不属于任何肺段，则标记为叶间裂，即肺段属性共包括18个肺段类别和叶间裂，共19类标签。

基于肺叶分割mask提取肺部区域位置坐标，并根据所述肺部区域位置坐标，从三维胸部CT图像中切割出立方体的肺部CT图像，从肺叶分割mask中切割出立方体的肺部区域的肺叶mask块；具体的，所述的基于肺叶分割mask提取肺部区域位置坐标的步骤进一步包括：根据三维肺部CT图像的肺叶分割mask，提取肺部区域最小外接立方体的坐标信息，并进行适当的外扩得到肺部区域位置坐标，然后根据肺部区域位置坐标切出胸部CT图像和肺叶分割mask中的肺部区域，同时肺结节定位信息做相应的转换。

本步骤是为了删掉肺部区域以外的无关区域，避免噪声。同时便于下一步骤中的刚性配准将肺部CT图像、肺部区域的肺叶mask处理为相同大小。

对所述肺部CT图像和肺部区域的肺叶mask块进行刚性配准处理至相同大小，获得配准后的肺部CT图像和配准后的肺叶mask块，同时肺结节定位信息做对应转换处理为配准后肺结节定位坐标。

本步骤中肺部CT图像和肺部区域的肺叶mask块进行刚性配准，从而构建图像和肺叶mask块的映射关系，从而使以下步骤中，基于配准后肺结节定位坐标切割的图像信息数据、肺叶信息数据和位置信息数据均存在一致的对应性，从而能够基于这三种数据块进行肺结节所属肺段的预测。

根据所述配准后肺结节定位坐标，从配准后的肺部CT图像中切割出固定大小的数据块，作为该肺结节的图像信息数据。

根据所述配准后肺结节定位坐标，从配准后的肺叶mask块中切割出固定大小的mask块，作为该肺结节的肺叶信息数据。

配准后的肺部CT图像，归一化块中每一点的坐标信息，获得位置信息块，根据所述配准后肺结节定位坐标，从所述位置信息块中切割固定大小的块作为该肺结节的位置信息数据。

将所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接后获得第一输入数据。

所述肺部CT图像和肺部区域mask块进行刚性配准处理至相同大小为[192,256,128]；图像信息数据为[1,96,96,48]的数组、肺叶信息数据为[1,96,96,48]的数组、位置信息数据为[3,96,96,48]的数组；第一输入数据为所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接后获得大小为[5,96,96,48]的数据。

本实施了中，图像信息数据、肺叶信息数据、位置信息数据切出均采用[96,96,48]尺寸的块，该尺寸块远比肺结节大，包含肺结节和其周边信息，主要用于提供肺结节及其周边信息，包括图像信息、肺叶mask数据、位置信息，以此作为模型推理的依据。

所述第二输入数据的预处理方法包括以下步骤：

根据配准后肺结节定位坐标，从配准后的肺叶mask块中，切割出对应mask块；

统计所述mask块中各肺叶标签的占比作为该肺结节的肺叶百分比信息。

因此，第二输入数据为长度为5的一维数组。

所述的第二输入数据，是从刚性配准的[192,156,128] 肺叶mask块中根据肺结节Bbox [ymin, ymax, xmin, xmax, zmin, zmax]选择的区域块，该块可以理解为肺结节的外接立方体，基本不含肺结节周边信息，统计该块内各肺叶标签的百分比，主要用于提供结节是否处于叶间裂周边的信息，因为叶间裂上肺结节通常包含至少2个肺叶标签，同时肺段和所属肺叶标签的关联性，也能够进一步确认肺结节所属肺段的识别准确性。所述的肺叶标签是包含在肺叶分割mask中的信息。

本申请实施例提供一种肺结节所属肺段识别模型的训练方法，所述方法包括以下步骤：

获取样本的三维胸部CT图像，采用人工标记肺结节定位信息和所属肺段，采用基于深度学习的肺叶分割模型获得肺叶分割mask；

定位信息标记方式采用BBox坐标形式，即[ymin, ymax, xmin, xmax, zmin,zmax]形式。肺段信息包括左肺上叶尖后段、右肺中叶外段、右肺中叶内段等标签，若结节在叶间裂上而不属于任何肺段，则标记为叶间裂，即肺段属性共包括18个肺段类别和叶间裂，共19类标签。

基于肺叶分割mask提取肺部区域位置坐标，并根据所述肺部区域位置坐标，从三维胸部CT图像中切割出立方体的肺部CT图像，从肺叶分割mask中切割出立方体的肺部区域的肺叶mask块；

对所述肺部CT图像和肺部区域mask块进行刚性配准处理至相同大小，获得配准后的肺部CT图像和配准后的肺叶mask块，同时肺结节定位信息做对应转换处理为配准后肺结节定位坐标；

根据所述配准后肺结节定位坐标，从配准后的肺部CT图像中切割出固定大小的数据块，作为该肺结节的图像信息数据；

根据所述配准后肺结节定位坐标，从配准后的肺叶mask块中切割出固定大小的mask块，作为该肺结节的肺叶信息数据；

配准后的肺部CT图像，归一化块中每一点的坐标信息，获得位置信息块，根据所述配准后肺结节定位坐标，从所述位置信息块中切割固定大小的块作为该肺结节的位置信息数据；

将所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接获得第一输入数据；

根据肺结节位置信息，取对应肺叶mask块，统计块中各肺叶标签的占比作为该肺结节的肺叶百分比信息，作为第二输入数据；

将所述第一输入数据和第二输入数据输入肺结节所属肺段识别模型，以采用人工标记的肺结节所属肺段作为肺结节所属肺段识别模型的监督信息，对肺结节所属肺段识别模型进行训练。

如图2所示，是本实施例的一种肺结节所属肺段模型的应用，所述该应用方式包括以下步骤：

获取样本的三维胸部CT图像，采用基于深度学习的肺结节检测模型和肺叶分割模型，分别获取三维胸部CT图像中肺结节的位置信息和肺叶分割mask；

基于肺叶分割mask提取肺部区域位置坐标，并根据所述肺部区域位置坐标，从三维胸部CT图像中切割出立方体的肺部CT图像，从肺叶分割mask中切割出立方体的肺部区域mask块；

对所述肺部CT图像和肺部区域mask块进行刚性配准处理至相同大小，获得配准后的肺部CT图像和配准后的肺叶mask块，同时肺结节定位信息做对应转换处理为配准后肺结节定位坐标；

根据所述配准后肺结节定位坐标，从配准后的肺部CT图像中切割出固定大小的数据块，作为该肺结节的图像信息数据；

根据所述配准后肺结节定位坐标，从配准后的肺叶mask块中切割出固定大小的mask块，作为该肺结节的肺叶信息数据；

配准后的肺部CT图像，归一化块中每一点的坐标信息，获得位置信息块，根据所述配准后肺结节定位坐标，从所述位置信息块中切割固定大小的块作为该肺结节的位置信息数据；

将所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接获得第一输入数据；

根据肺结节位置信息，取对应肺叶mask块，统计块中各肺叶标签的占比作为该肺结节的肺叶百分比信息，作为第二输入数据；

将所述第一输入数据和第二输入数据输入训练好的肺结节所属肺段识别模型进行推理，预测相应肺结节所属肺段。

本申请实施例所提供的技术方案和现有技术最大的区别在于不再依赖于肺段分割mask。因此了规避了现有技术中两种获得肺段分割mask的技术路线，标注工程量大，准确度不高的缺陷。

本方案将预测的重点落在肺结节及其周边信息的识别方面，是在肺结节位置识别模型和肺叶mask分割模型均已成熟的基础上，通过肺结节及其周边区域的肺部图像信息、肺叶mask块和位置信息，进行深度学习模型的构建，实现对于肺结节所属肺段的识别预测。

与现有技术技术方案相比主要优势在于：（1）目前肺结节检测模型和肺叶分割模型技术已经较为成熟，相比肺段分割mask的构建，标注成本更低，而且精度更高；（2）模型处理的第一输入数据和第二输入数据，处理数据体量小得多，相比基于CT图像和肺段分割模板并通过配准得到新CT图像对应的肺段分割mask的现有技术方案，预测效率更高。

Claims (8)

1.一种肺结节所属肺段识别模型，其特征是，所述模型根据第一输入数据和第二输入数据，预测肺结节所属肺段，

所述第一输入数据，包含根据肺结节位置中心坐标，从肺部图像中切割出的肺结节的图像信息数据、从肺叶分割mask中切割出的肺结节对应的肺叶mask块、从肺部图像归一化每一点的坐标信息后的坐标信息块中切割出的肺结节对应的位置信息数据；

所述第二输入数据，包含肺结节所在肺叶分割mask位置中各肺叶标签的占比作为该肺结节的肺叶百分比信息；

所述模型包括多层的特征提取层和预测层；

所述特征提取层，用于处理第一输入数据，经过多层的特征提取层后获得最终特征提取图，

所述预测层，包括自适应均值池化层和全连接层，用于将自适应均值池化层处理后的最终特征提取图与第二输入数据拼接，通过全连接层进行肺段类别预测；

所述第一输入数据的预处理方法包括以下步骤：

根据三维胸部CT图像，获取对应肺叶分割mask和肺结节定位信息；

基于肺叶分割mask提取肺部区域位置坐标，并根据所述肺部区域位置坐标，从三维胸部CT图像中切割出立方体的肺部CT图像，从肺叶分割mask中切割出立方体的肺部区域的肺叶mask块；

对所述肺部CT图像和肺部区域的肺叶mask块进行刚性配准处理至相同大小，获得配准后的肺部CT图像和配准后的肺叶mask块，同时肺结节定位信息做对应转换处理为配准后肺结节定位坐标；

根据所述配准后肺结节定位坐标，从配准后的肺部CT图像中切割出固定大小的数据块，作为该肺结节的图像信息数据；

根据所述配准后肺结节定位坐标，从配准后的肺叶mask块中切割出固定大小的mask块，作为该肺结节的肺叶信息数据；

配准后的肺部CT图像，归一化块中每一点的坐标信息，获得位置信息块，根据所述配准后肺结节定位坐标，从所述位置信息块中切割固定大小的块作为该肺结节的位置信息数据；

将所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接后获得第一输入数据。

2.根据权利要求1所述的肺结节所属肺段识别模型，其特征是，所述特征提取层，包括三个由Res2Net 3d模块组和3D池化模块构成的组合、以及第四Res2Net 3d模块组，第一输入数据经过所述三个由Res2Net 3d模块组和3D池化模块的组合的处理后结果的中心特征区域对应的特征块，与第四Res2Net模块组后的特征图进行拼接融合，得到最终特征提取图。

3.根据权利要求1所述的肺结节所属肺段识别模型，其特征是，

所述肺部CT图像和肺部区域mask块进行刚性配准处理至相同大小为[192,256,128]；

图像信息数据为[1,96,96,48]的数组、肺叶信息数据为[1,96,96,48]的数组、位置信息数据为[3,96,96,48]的数组；

第一输入数据为所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接后获得大小为[5,96,96,48]的数据。

4.根据权利要求1所述的肺结节所属肺段识别模型，其特征是，所述的基于肺叶分割mask提取肺部区域位置坐标的步骤进一步包括：

根据三维肺部CT图像的肺叶分割mask，提取肺部区域最小外接立方体的坐标信息，并进行适当的外扩得到肺部区域位置坐标，然后根据肺部区域位置坐标切出胸部CT图像和肺叶分割mask中的肺部区域，同时肺结节定位信息做相应的转换。

5.根据权利要求1所述的肺结节所属肺段识别模型，其特征是，

所述模型在训练阶段采用人工标记肺结节定位信息和所属肺段，人工标记的肺结节所属肺段作为肺结节所属肺段识别模型的监督信息，采用基于深度学习的肺叶分割模型获得肺叶分割mask；

所述模型在推理阶段采用基于深度学习的肺结节检测模型和肺叶分割模型，分别获取三维胸部CT图像中肺结节的位置信息和肺叶分割mask。

6.根据权利要求5所述的肺结节所属肺段识别模型，其特征是，肺结节定位信息的标记方式采用BBox坐标形式进行标记。

7.根据权利要求1所述的肺结节所属肺段识别模型，其特征是，所述第二输入数据的预处理方法包括以下步骤：

根据配准后肺结节定位坐标，从配准后的肺叶mask块中，切割出对应mask块；

统计所述mask块中各肺叶标签的占比作为该肺结节的肺叶百分比信息。

8.一种肺结节所属肺段识别模型的训练方法，其特征是，所述方法包括以下步骤：

获取样本的三维胸部CT图像，采用人工标记肺结节定位信息和所属肺段，采用基于深度学习的肺叶分割模型获得肺叶分割mask；

基于肺叶分割mask提取肺部区域位置坐标，并根据所述肺部区域位置坐标，从三维胸部CT图像中切割出立方体的肺部CT图像，从肺叶分割mask中切割出立方体的肺部区域的肺叶mask块；

对所述肺部CT图像和肺部区域的肺叶mask块进行刚性配准处理至相同大小，获得配准后的肺部CT图像和配准后的肺叶mask块，同时肺结节定位信息做对应转换处理为配准后肺结节定位坐标；

根据所述配准后肺结节定位坐标，从配准后的肺部CT图像中切割出固定大小的数据块，作为该肺结节的图像信息数据；

根据所述配准后肺结节定位坐标，从配准后的肺叶mask块中切割出固定大小的mask块，作为该肺结节的肺叶信息数据；

配准后的肺部CT图像，归一化块中每一点的坐标信息，获得位置信息块，根据所述配准后肺结节定位坐标，从所述位置信息块中切割固定大小的块作为该肺结节的位置信息数据；

将所述的图像信息数据、肺叶信息数据、位置信息数据按照第一维度拼接获得第一输入数据；

根据肺结节位置信息，取对应肺叶mask块，统计块中各肺叶标签的占比作为该肺结节的肺叶百分比信息，作为第二输入数据；

将所述第一输入数据和第二输入数据输入肺结节所属肺段识别模型，以采用人工标记的肺结节所属肺段作为肺结节所属肺段识别模型的监督信息，对肺结节所属肺段识别模型进行训练。