CN114283165A - 肺结节的智能影像处理系统 - Google Patents
肺结节的智能影像处理系统 Download PDFInfo
- Publication number
- CN114283165A CN114283165A CN202111555036.2A CN202111555036A CN114283165A CN 114283165 A CN114283165 A CN 114283165A CN 202111555036 A CN202111555036 A CN 202111555036A CN 114283165 A CN114283165 A CN 114283165A
- Authority
- CN
- China
- Prior art keywords
- module
- lung
- nodule
- feature map
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种肺结节的智能影像处理系统，包括：模块M1：获取3D肺部CT影像数据；模块M2：对获取的3D肺部CT影像数据进行预处理，得到预处理后的3D肺部CT影像数据；模块M3：构建一阶段肺结节3D实例分割模型，并对一阶段肺结节3D实例分割模型进行训练，得到训练后的一阶段肺结节3D实例分割模型；模块M4：利用预处理后的肺结节CT图像数据根据训练后的一阶段肺结节3D实例分割模型生成肺结节分割和检测结果；模块M5：根据肺结节分割和检测结果确定肺结节中心位置和直径，并对肺结节边界进行勾勒。
Description
技术领域
本发明涉及智能医学影像处理技术领域，具体地，涉及一种肺结节的智能影像处理系统。
背景技术
肺结节识别是基于深度学习计算机视觉领域的具体应用之一。通用的计算机视觉任务可以用于肺结节识别，但由于肺结节识别任务更侧重定位信息，且具有特定的影像学模式，因此会有许多特化的计算机视觉模型来处理肺结节识别任务，其中基于实例分割的肺结节识别方法能够直接提供肺结节的边界轮廓，便于医生查看。实例分割不仅要区分不同类别的体素点，还要区分同一类别的体素点是否属于同一实例。
用于肺结节实例分割的模型可以在给出结节位置坐标的同时勾勒出结节边界，提供更为丰富的结节信息。肺结节实例分割任务分为一阶段肺结节实例分割和二阶段肺结节实例分割。一阶段模型可以端到端地输出对结节边界的检测；二阶段模型先检测潜在的结节区域，再对候选区域进行进一步检测和定位。E.Kopelowitz等人的“Lung NodulesDetection and Segmentation Using 3D Mask-RCNN”提出了基于Mask R-CNN的3D肺结节实例分割方案，但Mask R-CNN模型检测分支和分割分支共享特征图导致各自的性能和单任务模型相比有所下降。H.Tang等人的“NoduleNet:Decoupled False Positive Reductionfor Pulmonary Nodule Detection and Segmentation”提出了名为NoduleNet的模型，将检测分支和分割分支解耦，该模型在LIDC-IDRI数据集上达到了良好的实例分割性能。
目前绝大多数已有的肺结节实例分割模型均基于Mask R-CNN实现，采用两阶段方式进行，使得模型结构较为繁琐，需要繁杂的后处理，可解释性差。现有的肺结节识别模型，没有很好地利用三维(3D)空间信息，忽视了病灶与肺部环境之间的关联，大多对三维实体的形状表征能力较差。
专利文献CN111062955A(申请号：202010188475.3)公开了一种肺部CT影像数据分割方法及系统，属于医学图像处理和人工智能技术领域。所述方法包括：标注肺部轮廓与目标区域，并对影像数据作数值裁剪和归一化处理；利用第一神经网络进行训练学习，得到肺部轮廓分割模型；提取出肺部轮廓，确定肺部感兴趣区域，并作数值裁剪和归一化处理；将肺部感兴趣区域裁剪，并利用第二神经网络进行训练学习，得到肺部目标区域分割模型；根据影像数据和肺部目标区域分割模型，分割出肺部目标区域。所述系统包括标注模块、第一裁剪归一化模块、第一训练学习模块、第二裁剪归一化模块、第二训练学习模块和检测模块。本发明提高了肺部CT影像数据的处理效率，可快速地分割出肺部CT影像数据中的目标区域。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种肺结节的智能影像处理系统。
根据本发明提供的一种肺结节的智能影像处理系统，包括：
模块M1：获取3D肺部CT影像数据；
模块M2：对获取的3D肺部CT影像数据进行预处理，得到预处理后的3D肺部CT影像数据；
模块M3：构建一阶段肺结节3D实例分割模型，并对一阶段肺结节3D实例分割模型进行训练，得到训练后的一阶段肺结节3D实例分割模型；
模块M4：利用预处理后的肺结节CT图像数据根据训练后的一阶段肺结节3D实例分割模型生成肺结节分割和检测结果；
模块M5：根据肺结节分割和检测结果确定肺结节中心位置和直径，并对肺结节边界进行勾勒；
所述一阶段肺结节3D实例分割模型是以3D肺部CT影像数据为输入的肺结节实力分割模型，使用3D数据作为一阶段肺结节3D实例分割模型的输入以提取CT帧间信息，通过端到端的方式同时得到肺结节分割和检测结果。
优选地，在所述模块M2中：对病人CT图像数据进行包括标准体素转换、肺窗选择以及肺实质提取，得到体素标准及亮度一致的一阶段肺结节CT图像数据。
优选地，所述标准体素转换采用：三线性插值将每个体素表示的实际空间大小恢复为预设值.
优选地，所述肺窗选择采用：通过截断方式调整肺窗宽度，使得肺部影像数据的亮度范围在预设范围内。
优选地，所述肺实质提取采用：
模块M2.1：对肺部CT数据进行滤波，除去数据中的噪声；
模块M2.2：将滤波后的肺部CT数据进行二值化，区分亮度高和亮度低的区域；
模块M2.3：通过图形学处理，将肺实质外的区域置为0，将几何上非封闭区域的值为0的最大连通分量置为1，将CT视野外区域和肺实质区域的背景区分开；再将整图反色提取出肺实质区域，获取图像1；
模块M2.4：通过计算当前值为1区域的凸包，获取肺实质区域的轮廓，将肺实质内的结节区域纳入，获取图像2；
模块M2.5：利用图像1和图像2，过滤掉肺实质凸包内各个值为0的连通分量中满足预设要求的；
模块M2.6：通过膨胀运算和闭操作，保证双肺均位于肺实质连通分量中；
模块M2.7：使用肺实质连通分量对原图做掩码，得到最终的肺实质区域。
优选地，所述一阶段肺结节3D实例分割模型采用：预提取模块、第一类密集连接模块、下采样模块、第二类密集连接模块、上采样模块以及区域推荐模块；
模块S1：在所述预提取模块中，对3D数据进行特征预提取和下采样得到最初的特征图；
模块S2：最初的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图；
模块S3：将提取后的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图，重复触发模块S3，使特征图的特征语义达到最高层次的抽象；
模块S4：将特征语义达到最高层次抽象的特征图通过第二类密集连接块和上采样块的组合模块还原特征得到还原后的特征图，重复触发模块S4，直至特征图的分辨率还原到输入模块S3时的分辨率；
所述特征语义达到最高层次的抽象是指分辨率达到预设值。
优选地，所述一阶段肺结节3D实例分割模型采用：
在所述预提取模块中：对输入特征图使用3*3*3的卷积操作进行特征初步感知，并通过3*3*3的标准卷积模块进行特征提取，最后通过2*2*2的最大池化提取每个邻域中满足预设要求的最关键信息，得到初步的特征图；
在所述第一类密集连接模块中：将初步的特征图通过1*1*1的标准卷积模块，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初步的特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图以及1级特征图级联，重复触发，直至输出预设层级特征图；
在所述下采样模块中，通过1*1*1的标准卷积将预设层级数目的特征图的通道减半，并进行2*2*2的最大池化；
在所述第二类密集连接模块中，将初步的特征图通过1*1*1的标准卷积模块，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初始特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图级联，重复触发，直至得到预设层级数目的特征图并输出各级16通道特征图的级联结果；
在所述上采样模块中，将各级16通道特征图的级联结果进行2*2*2的反卷积并激活，得到恢复特征的特征图；
在所述区域推荐模块中，将预设层级16通道特征图的级联结果通过3*3*3的标准卷积模块生成128通道的特征图，再通过1*1*1的标准卷积模块生成61通道的特征图作为最终的分割和检测结果；
所述标准的卷积模块包括批归一化、非线性激活以及预设大小的卷积操作。
优选地，一阶段肺结节3D实例分割模型损失函数包括正负分类损失、正样本边框回归损失以及正样本分割损失。
优选地，所述肺结节分割和检测结果包括：60通道的锚框信息和1通道的结节热图；
所述锚框信息表示每个位置有预设数量且大小不同的锚框，每个锚框具有预设数量的属性，包括三维中心坐标、锚框直径和锚框包含结节的置信度；
所述结节热图表示每个位置属于肺结节区域的置信度。
优选地，在所述模块M5中，
非极大抑制模块：所有锚框按置信度排序，取出最大的锚框加入正锚框集合中，并保留和当前锚框的交并比在设定阈值以下的锚框；剩下的锚框中继续按置信度排序，重复触发，最终得到两两之间交并比均在设定阈值以下的正锚框集合，得到检测出的互不重叠的结节病灶；
结节掩膜生成模块：通过三线性插值将结节分辨率恢复至一阶段肺结节3D实例分割模型的输入数据的大小，再根据二分法来选取掩膜二值化的阈值，使二值化后的结果和真实标注的掩膜误差最小，再将每个锚框每帧的掩膜补成凸集，确保掩膜的完整；
结节边界勾勒模块：用于根据锚框信息和掩膜信息生成边界并勾勒。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于3D一阶段方法进行肺结节的实例分割，端到端地实现检测和分割两种任务，系统更为简洁；
2、本发明设计了适用于肺结节影像识别的预处理、数据块选取、锚框设计、假阳性衰减、掩膜后处理方案，提升系统对肺结节的处理能力；
3、通过适用于肺结节影像识别的图形学处理方式，精确提取出了肺实质；通过设计出锚框的12种尺寸，尽可能满足每个结节与所有锚框的潜在最大交并比值相同，即交并比一致性；通过非极大抑制模块对假阳性进行衰减，同时得出互不重叠的结节病灶；通过生成结节掩膜得出肺结节分割结果，方便医生查看结节位置形状；
4、本发明将检测任务和分割任务的结果相结合得到实例分割的最终结果，有效抑制了假阳性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一阶段肺结节3D实例分割模型结构。
图2为一阶段肺结节3D实例分割模型子模块结构。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
针对现有肺结节检测模型结构较为繁琐，需要繁杂的后处理，可解释性差；没有很好地利用三维空间信息，对于边界不清、密度较低的肺结节，以及形状和结节相近的肺部组织区域的辨识能力不足等问题，本发明提供了一种三维(3D)肺结节智能影像处理方法，即以3D肺部CT影像数据为输入的一阶段肺结节3D实例分割诊断模型。使用3D数据作为模型的输入可以更好地提取CT帧间信息；通过端到端的方式同时得到了肺结节分割和检测的结果，兼具分割模型和检测模型的特点，以更简便的方式生成对结节边界的勾勒。
实施例1
根据本发明提供的一种肺结节的智能影像处理系统，包括：
模块M1：获取3D肺部CT影像数据；
模块M2：对获取的3D肺部CT影像数据进行预处理，得到预处理后的3D肺部CT影像数据；
模块M3：构建一阶段肺结节3D实例分割模型，并对一阶段肺结节3D实例分割模型进行训练，得到训练后的一阶段肺结节3D实例分割模型；
模块M4：利用预处理后的肺结节CT图像数据根据训练后的一阶段肺结节3D实例分割模型生成肺结节分割和检测结果；
模块M5：根据肺结节分割和检测结果确定肺结节中心位置和直径，并对肺结节边界进行勾勒；
所述一阶段肺结节3D实例分割模型是以3D肺部CT影像数据为输入的肺结节实力分割模型，使用3D数据作为一阶段肺结节3D实例分割模型的输入以提取CT帧间信息，通过端到端的方式同时得到肺结节分割和检测结果。
具体地，在所述模块M2中：对病人CT图像数据进行包括标准体素转换、肺窗选择以及肺实质提取，得到体素标准及亮度一致的一阶段肺结节CT图像数据。
具体地，所述标准体素转换采用：三线性插值将每个体素表示的实际空间大小恢复为1mm*1mm*1mm。
具体地，所述肺窗选择采用：为了保证CT影像亮度一致性，通过截断方式调整肺窗宽度，使得肺部影像数据的亮度范围在-1024到1024之间。
具体地，所述肺实质提取采用：利用图形学处理方法提取肺部影像数据中肺实质；
模块M2.1：对肺部CT数据进行滤波，除去数据中的噪声；
模块M2.2：将滤波后的肺部CT数据进行二值化，区分亮度高和亮度低的区域；
模块M2.3：通过图形学处理，将肺实质外的区域置为0，将几何上非封闭区域的值为0的最大连通分量置为1，将CT视野外区域和肺实质区域的背景区分开；再将整图反色提取出肺实质区域，获取图像1；
模块M2.4：通过计算当前值为1区域的凸包，获取肺实质区域的轮廓，将肺实质内的结节区域纳入，获取图像2；
模块M2.5：利用图像1和图像2，过滤掉肺实质凸包内各个值为0的连通分量中满足预设要求的；
模块M2.6：通过膨胀运算和闭操作，保证双肺均位于肺实质连通分量中；
模块M2.7：使用肺实质连通分量对原图做掩码，得到最终的肺实质区域。
具体地，所述一阶段肺结节3D实例分割模型采用：预提取模块、第一类密集连接模块、下采样模块、第二类密集连接模块、上采样模块以及区域推荐模块；
模块S1：在所述预提取模块中，对3D数据进行特征预提取和下采样得到最初的特征图；
模块S2：最初的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图；
模块S3：将提取后的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图，重复触发3次模块S3，使特征图的特征语义达到最高层次的抽象；
模块S4：将特征语义达到最高层次抽象的特征图通过第二类密集连接块和上采样块的组合模块还原特征得到还原后的特征图，重复触发3次模块S4，直至特征图的分辨率还原到输入模块S3时的分辨率；
所述特征语义达到最高层次的抽象是指分辨率达到预设值。
具体地，如图1所示，所述一阶段肺结节3D实例分割模型采用：
在所述预提取模块中：对输入特征图使用3*3*3的卷积操作进行特征初步感知，并通过3*3*3的标准卷积模块进行特征提取，即批归一化、非线性激活、以及3*3*3卷积操作的组合，进行进一步特征提取，最后通过2*2*2的最大池化提取每个邻域中满足预设要求的最关键信息，得到初步的特征图，如图2所示；例如：2*2*2最大池化是将特征图以步长为2，全部切割成许多2*2*2的小块，每个2*2*2的小块用这8个数中最大的数代替，即提取最关键信息。因此经过2*2*2最大池化后特征图的长宽高都缩小一半；
在所述第一类密集连接模块中：将初步的特征图通过1*1*1的标准卷积模块，即瓶颈层，用于降低通道数，减少模型计算量，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初步的特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图以及1级特征图级联，重复触发，直至输出预设层级特征图，如图2所示；
在所述下采样模块中，通过1*1*1的标准卷积将预设层级数目的特征图的通道减半，并进行2*2*2的最大池化；特征图通道减半用于降低计算量，最大池化用于提取局部区域最明显的特征，如图2所示；
在所述第二类密集连接模块中，将初步的特征图通过1*1*1的标准卷积模块，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初始特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图级联，重复触发，直至得到预设层级数目的特征图并输出各级16通道特征图的级联结果；
在所述上采样模块中，将各级16通道特征图的级联结果进行2*2*2的反卷积并激活，得到恢复特征的特征图；相比插值进行上采样的方法而言，反卷积通过学习的方式进行上采样，能够更好地恢复特征，如图2所示；
在所述区域推荐模块中，将预设层级16通道特征图的级联结果通过3*3*3的标准卷积模块生成128通道的特征图，再通过1*1*1的标准卷积模块生成61通道的特征图作为最终的分割和检测结果；，如图2所示；在一阶段肺结节3D实例分割模型中，根据结节的分布，通过聚类精心地设计了锚框的大小，最终得到12个不同的锚框尺寸。检测结果基于这12个不同大小的锚框得出。
每个卷积层后接批归一化-LeakyReLU激活函数。
具体地，一阶段肺结节3D实例分割模型损失函数分为若干部分进行计算，损失函数由正负分类损失、正样本边框回归损失以及正样本分割损失构成。
具体地，所述肺结节分割和检测结果包括：60通道的锚框信息和1通道的结节热图；
所述锚框信息表示每个位置有12个大小不同的锚框，每个锚框具有5个属性，包括三维中心坐标、锚框直径和锚框包含结节的置信度；
所述结节热图表示每个位置属于肺结节区域的置信度。
具体地，在所述模块M5中，
非极大抑制模块：所有锚框按置信度排序，取出最大的锚框加入正锚框集合中，并保留和当前锚框的交并比在设定阈值以下的锚框；剩下的锚框中继续按置信度排序，重复触发，最终得到两两之间交并比均在设定阈值以下的正锚框集合，得到检测出的互不重叠的结节病灶；
利用非极大抑制模块减少重叠的锚框，找到结节目标最接近的锚框匹配，防止多重匹配；
结节掩膜生成模块：通过三线性插值将结节分辨率恢复至一阶段肺结节3D实例分割模型的输入数据的大小(即预处理后的肺结节CT图像大小)，再根据二分法来选取掩膜二值化的阈值，使二值化后的结果和真实标注的掩膜误差最小，再将每个锚框每帧的掩膜补成凸集，确保掩膜的完整；
结节边界勾勒模块：用于根据锚框信息和掩膜信息生成边界并勾勒。
实施例2
实施例2是实施例1的优选例
本发明提供了一种肺结节智能影像处理的方法，包括：
步骤S1：选取模型训练、验证和测试所需数据；
步骤S2：对病人CT图像数据进行标准体素转换、肺窗选择、肺实质提取，得到体素标准，亮度一致，可用于输入系统的数据；
步骤S3：搭建一阶段肺结节3D实例分割模型网络结构；
步骤S4：使用3D数据输入一阶段3D实例分割模型并通过端到端的方式同时得到肺结节分割和检测的结果；
步骤S5：确定肺结节中心位置和直径，并勾勒肺结节边界，便于医生查看；对每个结节而言，其边界坐标逐帧存储。
具体地，所述步骤S1采用：模型采用LUNA-16数据集进行训练、验证和测试，LUNA-16共有888个不同病人的CT扫描数据，划分为10个子数据集，利用其中9个进行训练(subset0-9除去subset5)，利用剩余1个进行测试。每个病人的CT扫描数据包含约200-300帧2D切片，帧间距在0.625-2.5mm不等。每个CT扫描数据中存在的结节个数各不相同，大小在3-30mm之间，并通过中心坐标和直径进行标注。
具体地，所述步骤S2采用：数据预处理包括标准体素转换、肺窗选择、肺实质提取等过程。体素标准化采用三线性插值将每个体素表示的实际空间大小恢复为1mm*1mm*1mm。为保证CT影像亮度一致性，模型通过截断方式调整肺窗宽度，使得肺部影像数据的亮度范围在-1024～1024之间。
肺实质提取分为7个子步骤：
步骤S2.1：对肺部CT数据进行滤波，除去数据中的噪声；
步骤S2.2：将滤波后的肺部CT数据进行二值化，区分亮度高和亮度低的区域；
步骤S2.3：通过图形学处理，将肺实质外的区域置为0，从而获取初步的肺实质区域。具体而言，先将几何上非封闭区域的值为0的最大连通分量置为1，将CT视野外区域和肺实质区域的背景区分开；再将整图反色提取出肺实质区域；
步骤S2.4：通过计算当前值为1区域的凸包，获取肺实质区域的轮廓，将肺实质内的结节区域纳入；
步骤S2.5：利用步骤S2.3生成的图像和步骤S2.4生成的图像，可以过滤掉肺实质凸包内各个值为0的连通分量中较小的，从而进一步细化步骤S2.3得到的图像，充分利用步骤S2.4能将结节区域纳入肺实质的特性；
步骤S2.6：通过膨胀运算和闭操作，保证双肺均位于肺实质连通分量中；
步骤S2.7：使用肺实质连通分量对原图做掩码，得到最终的肺实质区域。
所述步骤S3采用：一阶段肺结节3D实例分割模型以3D U-Net为主干，每个卷积块均使用密集连接块实现，最大程度地保证信息在网络中流动，便于更好地提取特征；U-Net两侧相同分辨率特征图之间的侧向连接保证了编码器和解码器语义信息的流动和融合。
一阶段肺结节3D实例分割模型以3D数据块为输入，以61通道的特征图作为输出，包括60通道的锚框信息和1通道的结节热图。锚框信息表示每个位置有12个大小不同的锚框，每个锚框具有5个属性：分别是三维中心坐标、锚框直径和锚框包含结节的置信度；结节热图表示每个位置属于结节区域的置信度。模型输入的长方体3D数据块数据采用每个病人CT图像中的连续32帧，避免送入完整的CT数据造成模型计算量过大，但又完整保留了轴向切面的完整信息，有利于获取结节与肺部环境的整体关联。
整个模型由6种不同类型的子模块组合而成，分别是预提取模块、第一类密集连接模块、下采样模块、第二类密集连接模块、上采样模块、区域建议模块。模型分为下采样路径和上采样路径，分别位于图1的左右两侧。两类不同的密集连接块分别是密集连接块用于模型下采样路径和上采样路径的形式。当3D数据送入模型之后，先进入预提取块进行特征预提取和下采样；之后重复使用第一类密集连接块和下采样块的组合提取特征，并将每次第一类密集连接块得到的特征图与上采样路径中对应大小的特征图进行融合。当特征图的分辨率足够小时，特征语义达到最高层次的抽象，模型进入上采样路径。上采样路径中重复使用上采样模块和第二类密集连接块的组合恢复高层语义特征的定位信息。在上采样模块和第二类密集连接块组合的过程中，每个从上采样模块得到的特征图与下采样路径中对应大小的特征图融合后再进入第二类密集连接块，实现图像信息和语义信息的对应。最终的特征图各维度大小是原图大小的一半，并送入区域建议层来提取锚框信息和相应的结节热图，获得最终的检测和分割结果。
所述步骤S4采用：模型训练时采用三维长方体数据块作为模型的输入，每个数据块以特定的结节为中心逐帧展开，获取其前后16帧切片中的肺实质区域，构成长方体数据块，确保输入数据存在结节。对于结节中心和CT影像顶部或底部相邻，不足32帧的情况，从CT顶部或者底部沿同一方向展开32帧，优先保证帧数满足要求。由于长方体数据块中可能将其他结节的部分区域纳入，训练时对输入分布进行优化：将每个结节对应的数据块包含的其他结节再次纳入统计。经过分布优化，在随机获取数据块的时候，结节分布越集中的区域，采样概率越高，这对于模型学习结节密集区域的定位是有益处的。为使U-Net下采样对精度不产生损失，数据块需要对肺实质区域进行微小裁剪和填充，保证各维度均为32的倍数。
深度学习中的数据增强能够丰富数据的模式，模拟图像中各种情况，避免模型过拟合，常见的数据增强方式包括：数据平移、数据旋转、数据翻转、数据遮挡、添加噪声等。对于一阶段肺结节3D实例分割肺结节识别模型，目标大多为直径较小的球体，且模型的输入在轴向包含完整的肺实质切面，因此选用3D长方体数据块沿帧进行平移的数据增强，保证模型性能的同时，避免造成过大的训练复杂度。
训练中的数据标签，需要对LUNA-16的数据集标注进行变换得到。对于结节位置标注，通过特定的数学变换，便于模型拟合：将结节坐标真值转为与锚框坐标的相对位移值，并将结节直径真值转变为与锚框直径的对数比例值。
一阶段肺结节3D实例分割模型是多任务模型，损失函数分为若干部分进行计算，公式如下：
loss＝λ1lnegcls+λ2lposcls+λ3lposreg+λ4lposmask+penalty
其中，loss表示损失函数，lnegcls表示负分类损失函数，λ1表示其权重，lposcls表示正分类损失函数，λ2表示其权重；lposreg表示正样本边框回归损失函数，λ3表示其权重。lposmask表示正样本分割损失函数，λ4表示其权重。penalty表示正则化惩罚项。
损失函数由正负分类损失，正样本边框回归损失，以及正样本分割损失构成。对于正负样本的分类，采用经典的二元交叉熵损失来计算误差，公式如下：
其中，lcls表示分类损失函数，y表示概率真值标签(0或1)，
表示预测的概率；
对于正样本边框回归损失函数，采用光滑L1函数来计算边框回归的误差，公式如下：
其中，lposreg表示正样本边框回归损失函数，x表示边框回归的真值，rx表示边框回归的预测值；
对于正样本分割损失函数,用检测任务中置信度大于0.5的锚框的掩膜预测与真实掩膜的重叠度来衡量，公式如下:
其中，a∈PosAnchor表示检测任务中置信度大于0.5的锚框，maska表示锚框内的分割掩膜预测值,gta表示锚框a的掩膜真值；
所述步骤五中，系统推断是将LUNA-16数据集中subset5子集的CT扫描沿数据帧方向以窗宽32，步长16进行滑窗用作推断过程的输入数据块。在推断过程中以0.5的置信度阈值给出所有锚框的正负分类情况，对正锚框进行掩膜预测和后处理。
系统后处理主要包括：非极大值抑制(NMS)、结节掩膜生成、结节边界勾勒三个部分。非极大值抑制主要用于减少重叠的锚框，找到结节目标最接近的锚框匹配，防止多重匹配。对于结节掩膜的生成，首先通过三线性插值，将结节分辨率恢复为网络输入数据的大小，再根据二分法来选取掩膜二值化的阈值，使二值化后的结果和真实标注的掩膜误差最小。固定阈值的二值化过程可能导致掩膜区域不完全连通，因此将每个锚框每帧的掩膜补成凸集，确保掩膜的完整性。最终的结节边界根据锚框信息和掩膜信息生成：将正锚框中的掩膜视为结节区域的掩膜，如果正锚框中结节区域掩膜的直径小于2mm，该锚框将被标为负样本，取正锚框中掩膜的外侧边缘点作为结节轮廓，对每个结节而言，其边界坐标逐帧存储。
本发明提供的肺结节智能影像处理的系统，可以通过本发明提供的肺结节智能影像处理的方法中的步骤流程实现。本领域技术人员，可以将所述肺结节智能影像处理的方法理解为肺结节智能影像处理的系统的一个优选例。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种肺结节的智能影像处理系统，其特征在于，包括：
模块M1：获取3D肺部CT影像数据；
模块M2：对获取的3D肺部CT影像数据进行预处理，得到预处理后的3D肺部CT影像数据；
模块M3：构建一阶段肺结节3D实例分割模型，并对一阶段肺结节3D实例分割模型进行训练，得到训练后的一阶段肺结节3D实例分割模型；
模块M4：利用预处理后的肺结节CT图像数据根据训练后的一阶段肺结节3D实例分割模型生成肺结节分割和检测结果；
模块M5：根据肺结节分割和检测结果确定肺结节中心位置和直径，并对肺结节边界进行勾勒；
所述一阶段肺结节3D实例分割模型是以3D肺部CT影像数据为输入的肺结节实力分割模型，使用3D数据作为一阶段肺结节3D实例分割模型的输入以提取CT帧间信息，通过端到端的方式同时得到肺结节分割和检测结果。
2.根据权利要求1所述的肺结节的智能影像处理系统，其特征在于，在所述模块M2中：对病人CT图像数据进行包括标准体素转换、肺窗选择以及肺实质提取，得到体素标准及亮度一致的一阶段肺结节CT图像数据。
3.根据权利要求2所述的肺结节的智能影像处理系统，其特征在于，所述标准体素转换采用：三线性插值将每个体素表示的实际空间大小恢复为预设值。
4.根据权利要求2所述的肺结节的智能影像处理系统，其特征在于，所述肺窗选择采用：通过截断方式调整肺窗宽度，使得肺部影像数据的亮度范围在预设范围内。
5.根据权利要求2所述的肺结节的智能影像处理系统，其特征在于，所述肺实质提取采用：
模块M2.1：对肺部CT数据进行滤波，除去数据中的噪声；
模块M2.2：将滤波后的肺部CT数据进行二值化，区分亮度高和亮度低的区域；
模块M2.3：通过图形学处理，将肺实质外的区域置为0，将几何上非封闭区域的值为0的最大连通分量置为1，将CT视野外区域和肺实质区域的背景区分开；再将整图反色提取出肺实质区域，获取图像1；
模块M2.4：通过计算当前值为1区域的凸包，获取肺实质区域的轮廓，将肺实质内的结节区域纳入，获取图像2；
模块M2.5：利用图像1和图像2，过滤掉肺实质凸包内各个值为0的连通分量中满足预设要求的；
模块M2.6：通过膨胀运算和闭操作，保证双肺均位于肺实质连通分量中；
模块M2.7：使用肺实质连通分量对原图做掩码，得到最终的肺实质区域。
6.根据权利要求1所述的肺结节的智能影像处理系统，其特征在于，所述一阶段肺结节3D实例分割模型采用：预提取模块、第一类密集连接模块、下采样模块、第二类密集连接模块、上采样模块以及区域推荐模块；
模块S1：在所述预提取模块中，对3D数据进行特征预提取和下采样得到最初的特征图；
模块S2：最初的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图；
模块S3：将提取后的特征图通过第一类密集连接块和下采样块的组合模块提取特征得到提取后的特征图，重复触发模块S3，使特征图的特征语义达到最高层次的抽象；
模块S4：将特征语义达到最高层次抽象的特征图通过第二类密集连接块和上采样块的组合模块还原特征得到还原后的特征图，重复触发模块S4，直至特征图的分辨率还原到输入模块S3时的分辨率；
所述特征语义达到最高层次的抽象是指分辨率达到预设值。
7.根据权利要求6所述的肺结节的智能影像处理系统，其特征在于，所述一阶段肺结节3D实例分割模型采用：
在所述预提取模块中：对输入特征图使用3*3*3的卷积操作进行特征初步感知，并通过3*3*3的标准卷积模块进行特征提取，最后通过2*2*2的最大池化提取每个邻域中满足预设要求的最关键信息，得到初步的特征图；
在所述第一类密集连接模块中：将初步的特征图通过1*1*1的标准卷积模块，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初步的特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图以及1级特征图级联，重复触发，直至输出预设层级特征图；
在所述下采样模块中，通过1*1*1的标准卷积将预设层级数目的特征图的通道减半，并进行2*2*2的最大池化；
在所述第二类密集连接模块中，将初步的特征图通过1*1*1的标准卷积模块，再通过3*3*3的标准卷积模块进行特征提取，获得16通道的1级特征图，并和初始特征图级联，再重复通过1*1*1标准卷积块和3*3*3标准卷积块，获得16通道的2级特征图，并与初步的特征图级联，重复触发，直至得到预设层级数目的特征图并输出各级16通道特征图的级联结果；
在所述上采样模块中，将各级16通道特征图的级联结果进行2*2*2的反卷积并激活，得到恢复特征的特征图；
在所述区域推荐模块中，将预设层级16通道特征图的级联结果通过3*3*3的标准卷积模块生成128通道的特征图，再通过1*1*1的标准卷积模块生成61通道的特征图作为最终的分割和检测结果；
所述标准的卷积模块包括批归一化、非线性激活以及预设大小的卷积操作。
8.根据权利要求1所述的肺结节的智能影像处理系统，其特征在于，一阶段肺结节3D实例分割模型损失函数包括正负分类损失、正样本边框回归损失以及正样本分割损失。
9.根据权利要求1所述的肺结节的智能影像处理系统，其特征在于，所述肺结节分割和检测结果包括：60通道的锚框信息和1通道的结节热图；
所述锚框信息表示每个位置有预设数量且大小不同的锚框，每个锚框具有预设数量的属性，包括三维中心坐标、锚框直径和锚框包含结节的置信度；
所述结节热图表示每个位置属于肺结节区域的置信度。
10.根据权利要求1所述的肺结节的智能影像处理系统，其特征在于，在所述模块M5中，
非极大抑制模块：所有锚框按置信度排序，取出最大的锚框加入正锚框集合中，并保留和当前锚框的交并比在设定阈值以下的锚框；剩下的锚框中继续按置信度排序，重复触发，最终得到两两之间交并比均在设定阈值以下的正锚框集合，得到检测出的互不重叠的结节病灶；
结节掩膜生成模块：通过三线性插值将结节分辨率恢复至一阶段肺结节3D实例分割模型的输入数据的大小，再根据二分法来选取掩膜二值化的阈值，使二值化后的结果和真实标注的掩膜误差最小，再将每个锚框每帧的掩膜补成凸集，确保掩膜的完整；
结节边界勾勒模块：用于根据锚框信息和掩膜信息生成边界并勾勒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111555036.2A CN114283165A (zh) | 2021-12-17 | 2021-12-17 | 肺结节的智能影像处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111555036.2A CN114283165A (zh) | 2021-12-17 | 2021-12-17 | 肺结节的智能影像处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283165A true CN114283165A (zh) | 2022-04-05 |
Family
ID=80872970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111555036.2A Pending CN114283165A (zh) | 2021-12-17 | 2021-12-17 | 肺结节的智能影像处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283165A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131345A (zh) * | 2022-08-29 | 2022-09-30 | 杭州堃博生物科技有限公司 | 基于ct图像的病灶检测方法、装置及计算机可读存储介质 |
| CN115294401A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
| CN115984161A (zh) * | 2022-09-02 | 2023-04-18 | 山东财经大学 | 一种基于3dcnn和双分支结构技术的肺部结节检测方法 |
| CN116681701A (zh) * | 2023-08-02 | 2023-09-01 | 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） | 一种儿童肺部超声图像处理方法 |
| CN118262105A (zh) * | 2024-03-05 | 2024-06-28 | 清华大学深圳国际研究生院 | 基于全监督对比学习的多模态肿瘤图像的分割方法和装置 |
-
2021
- 2021-12-17 CN CN202111555036.2A patent/CN114283165A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294401A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
| CN115131345A (zh) * | 2022-08-29 | 2022-09-30 | 杭州堃博生物科技有限公司 | 基于ct图像的病灶检测方法、装置及计算机可读存储介质 |
| CN115131345B (zh) * | 2022-08-29 | 2023-02-03 | 杭州堃博生物科技有限公司 | 基于ct图像的病灶检测方法、装置及计算机可读存储介质 |
| CN115984161A (zh) * | 2022-09-02 | 2023-04-18 | 山东财经大学 | 一种基于3dcnn和双分支结构技术的肺部结节检测方法 |
| CN115984161B (zh) * | 2022-09-02 | 2023-09-26 | 山东财经大学 | 一种基于3dcnn和双分支结构技术的肺部结节检测方法 |
| CN116681701A (zh) * | 2023-08-02 | 2023-09-01 | 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） | 一种儿童肺部超声图像处理方法 |
| CN116681701B (zh) * | 2023-08-02 | 2023-11-03 | 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） | 一种儿童肺部超声图像处理方法 |
| CN118262105A (zh) * | 2024-03-05 | 2024-06-28 | 清华大学深圳国际研究生院 | 基于全监督对比学习的多模态肿瘤图像的分割方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114283165A (zh) | 肺结节的智能影像处理系统 | |
| Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
| EP3432263B1 (en) | Semantic segmentation for cancer detection in digital breast tomosynthesis | |
| CN110309860B (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
| CN108805209B (zh) | 一种基于深度学习的肺结节筛查方法 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN108154519A (zh) | 眼底图像中血管的分割方法、装置及存储介质 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
| CN111275712B (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN111784638B (zh) | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN114529516B (zh) | 基于多注意力与多任务特征融合的肺结节检测与分类方法 | |
| CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
| CN111415728A (zh) | 基于cnn和gan的ct图像数据自动分类方法及设备 | |
| CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
| CN113782181A (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| CN115775226A (zh) | 基于Transformer的医学图像分类方法 | |
| CN113160146B (zh) | 一种基于图神经网络的变化检测方法 | |
| CN113935961A (zh) | 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法 | |
| CN114119458A (zh) | 基于临床先验知识指导的甲状腺髓样癌超声图像识别方法 | |
| CN116777893B (zh) | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |