CN111402254B - 一种ct图像肺结节高性能自动检测方法及装置 - Google Patents

Abstract

本发明涉及医学影像分析领域，公开了一种CT图像肺结节高性能自动检测方法及装置，包括步骤：获取待检测的3D肺部CT序列图像；对3D肺部CT序列图像进行预处理；进行基于3D‑RPN区域生成框架的3D肺结节检测；进行基于2D‑NestedUNet分割框架的2D肺结节检测；采用NMS方法对所有肺结节检测结果进行过滤；建立基于残差网络的降假阳分类模型，获得最终肺结节检测结果。本发明融合了2D‑NestedUNet肺结节分割网络模型具有高召回率以及3D肺结节检测模型具有位置精确特点，并基于NMS方法对所有候选结节位置进行过滤，通过设置基于残差网络的降假阳分类模型对检测结果进一步过滤，降低假阳率，提高了肺结节检测的精确度和效率。

Description

一种CT图像肺结节高性能自动检测方法及装置

技术领域

本发明涉及医学影像分析领域，尤其涉及一种CT图像肺结节高性能自动检测方法及装置。

背景技术

肺癌是发病率和死亡率增长最快，对人类健康和生命威胁最大的恶性肿瘤之一。我国肺癌的新发病率和死亡率远超其他国家。我国肺癌患者的5年相对生存率仅为16.1％，肺癌总体5年生存率不尽人意，其主要原因之一是发现太晚。而早期诊断和早期治疗是提高肺癌总体治疗效果的唯一途径。肺结节是肺癌最重要的早期征象之一。所以，肺结节的早期诊断是目前最为敏感的影像学检查方法。

由于肺结节形态复杂，且易于肺内其他组织粘连等特点，即使是经验丰富的医生也很难做出准确的判断，而且肺部CT影像数据呈现爆炸式增长，极大地增强了放射科医生的工作量，随之在疾病检测过程中容易造成误诊和漏诊。随着大数据，计算机视觉的发展，计算机辅助诊断技术能够有效减轻医师的工作负担，辅助他们完成基于医学影像的疾病诊断，同时也可以提高疾病诊断的稳定性和效率。

目前的肺结节检测技术中，基于深度学习卷积神经网络识别CT图像中肺结节的方法很多，但是由于肺结节的变化多样，有各种大小，各种形状，并且CT图像中存在很多容易与肺结节混淆的物体，导致检测灵敏度不高且检测的结果中的假阳性较高。

因此，目前亟需一种CT图像肺结节高性能自动检测方法及装置，以提高肺结节检测的精确度和效率。

发明内容

本发明的目的在于提供一种CT图像肺结节高性能自动检测方法及装置，从而解决现有技术中的上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种CT图像肺结节高性能自动检测方法，包括以下步骤：

S1)获取待检测的3D肺部CT序列图像；

S2)对3D肺部CT序列图像进行预处理，获得预处理后的CT数据；

S3)对预处理后的CT数据进行基于3D-RPN区域生成框架的3D肺结节检测，获得3D肺结节检测结果；

S4)对预处理的CT数据进行基于2D-NestedUNet分割框架的2D肺结节检测，获得2D肺结节检测结果；

S5)将3D肺结节检测结果与2D肺结节检测结果进行融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

S6)建立基于残差网络的降假阳分类模型，将过滤后的肺结节检测结果输入至预训练好的降假阳分类模型，获得最终肺结节检测结果。

进一步的，步骤S2)对3D肺部CT序列进行预处理，包括步骤：

S21)对3D肺部CT序列图像进行三个方向上的异性插值，使三维肺部CT序列图像在三个方向的层厚均相同，获得异性插值后的CT像素数据；三个方向包括x轴方向、y轴方向和z轴方向；

S22)对异性插值后的CT像素数据进行肺窗处理；

S23)将肺窗处理后的CT像素数据归一化至[0,255]之间；

S24)利用图像语义分割网络提取肺腔图像；

S25)获取肺腔图像的最大外接矩形框，将最大外接矩形框内的非肺腔区域的像素值设置为无意义像素值。

x轴方向、y轴方向和z轴方向分别为肺结节的横截面、矢状面和冠状面方向。为了解决临床诊断中因需求和设备不同而导致CT序列数据差异问题，本发明采用标准而统一的预处理方式，利用了基于图像语义分割网络的肺腔提取技术，相比较于其它基于形态学传统图像处理技术的肺腔提取方法，本发明不但准确性和鲁棒性更好，而且将预处理流程的速度提升了近5倍。肺窗是影像学的名词概念，人体的密度是不一样的，人的肺部主要以密度低的含气组织为主，而纵隔当中则以大血管、食管心脏这样的密度大的组织为主，这些组织在CT下就会呈现前者为黑色而后者为白色，但人的肉眼分辨率无法清楚分辨中间具有微小差别的东西，所以需要进行肺窗处理，用电脑技术在肺窗中，给定特定的分辨范围从而观察肺窗里一些稍低密度的影，从而做出诊断疾病。

进一步的，步骤S24)中图像语义分割网络为Unet神经网络，利用图像语义分割网络提取肺腔图像包括步骤：

S241)将步骤S23)中归一化后的CT像素数据按z轴方向分解成2D影像序列；

S242)构建Unet神经网络，Unet神经网络包括n个下采样层、n个上采样层，第i层下采样层与第i层上采样层之间按通道拼接，1≤i≤n；前n-1个下采样层每层后接有最大池化层；第n个下采样层与第1个上采样层相连接；后n-1个上采样层每层后接有反卷积层；最后一个上采样层连接卷积核大小为1x1的卷积层，并输出肺腔分割结果；

S243)将2D影像序列作为输入并利用2D影像序列构建训练集，利用训练集对Unet神经网络进行训练，获得训练集分割结果；根据训练集分割结果计算损失函数，并使用梯度回传算法更新Unet神经网络参数；

S244)利用训练完成的Unet神经网络对待分割的2D影像序列进行预测，获得2D分割结果，把2D分割结果合并为3D分割结果输出，获得肺腔图像。

3D肺部CT序列图像边界模糊、梯度复杂，需要较多的高分辨率信息，高分辨率用于精准分割。人体肺部内部结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别。本发明采用Unet神经网络，不仅提供了低分辨率信息(提供物体类别识别依据)，而且结合了高分辨率信息(提供精准分割定位依据)，通过Unet神经网络全方面地进行医学图像分割。

进一步的，步骤S3)中对预处理后的CT数据进行基于3D-RPN区域生成框架的3D肺结节检测，包括步骤：

S31)建立基于3D-RPN区域生成框架的3D肺结节检测模型；

S32)以滑动窗口的方式将预处理后的CT数据裁剪成若干个预设大小的立方体块；

S33)将若干个预设大小的立方体块依次送入3D肺结节检测模型进行候选结节检测；

S34)获得进行基于3D-RPN区域生成框架的3D肺结节检测结果。

进一步的，3D肺结节检测模型包括卷积编码单元和反卷积解码单元。

卷积编码单元是产生低分辨率的图像表示或特征映射的过程，将图像转化为特征；反卷积解码单元是将低分辨率图像映射到像素级标签的过程，将特征转化为图像标签。本发明采用基于3D特征金字塔网络(FPN)构建3D肺结节检测模型，3D肺结节检测模型还包括建立Resnet残差网络，从Resnet下采样层抽出m层，连接时去掉第一层下采样层，尺寸逐层缩小2^k倍，1≤k≤m，把高层的低分辨强语义的feature最近邻上采样2倍相乘与低层语义相加，经过预设尺寸(如3×3)卷积核之后，作为预测层，第m+1预测层为第m预测层的0.5倍降采，在第2至第m+1这m个预测层上，分别独立的进行预测，最后将每层的预测结果进行连接融合。

进一步的，步骤S4)中预处理的CT数据沿着Z轴方向包括若干层CT图像，对预处理的CT数据进行基于2D-NestedUNet分割框架的肺结节检测，包括步骤：

S41)将沿着Z轴方向的每一层CT图像统一调整为预设分辨率大小的灰度图；

S42)构建2D-NestedUNet肺结节分割网络模型；

S43)将若干层CT图像依次送入2D-NestedUNet肺结节分割网络模型中进行分割；

S44)对分割的结果提取连通区域中心，将提取的连通区域中心作为分割后的2D肺结节检测结果，获得分割后的2D肺结节检测结果。

进一步的，步骤S25)中无意义像素值为不同于最大外接矩形框内的肺腔区域的像素值，无意义像素值为170。

一种CT图像肺结节高性能自动检测装置，包括图像获取模块、肺结节3D检测模块、肺结节2D分割模块、

图像获取模块，用于获取待检测的3D肺部CT序列图像；

图像预处理模块，用于对待检测的3D肺部CT序列图像进行预处理；

肺结节3D检测模块，用于将预处理之后的3D肺部CT序列图像输入至3D-RPN肺结节检测网络中，获取3D肺结节检测结果；

肺结节2D分割模块，用于将预处理之后的3D肺部CT序列图像输入至2D-NestedUNet肺结节分割网络模型中，获得2D肺结节检测结果；

候选肺结节融合处理模块，用于将3D肺结节检测结果和所述2D肺结节检测结果进行融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

降假阳模块，用于减少肺结节检测结果假阳的数量，使用残差网络作为基础网络建立分类模型，从而对过滤后的肺结节检测结果进一步筛检。

本发明利用3D肺结节检测模型能够精确地预测出肺结节的位置。另外根据小结节难检出以及临床中需要高召回率的特点，本发明提出基于2D-NestedUNet语义分割框架的2D-NestedUNet肺结节分割网络模型，相比于3D肺结节检测模型，2D-NestedUNet肺结节分割网络模型的模型参数更小，在硬件资源要求更低的情况下实现了微小结节更高的召回率。本发明采用基于非极大值抑制(NMS，non maximum suppress ion)的模型融合方法能够将3D肺结节检测结果和2D肺结节检测结果进行融合，准确快速的过滤冗余检测结果。为了能够尽可能的检测出目标区域，采用NMS方法时会设置一个稍低的阈值，但这样做的结果会导致生成大量的假阳数据，也就是没有结节的区域被判别为有结节，为了减少假阳的数量，本发明在检测过滤之后加上一个分类模型，该分类模型使用残差网络作为基础网络，从而对检测得到的结果进一步筛检。本发明利用真样本(含有结节)和假阳数据对残差网络进行训练，损失函数为focal loss，Focal loss损失函数解决了目标检测中正负样本比例严重失衡的问题，降低了大量简单负样本在训练中所占的权重。

本发明的有益效果是：基于2D-NestedUNet语义分割框架的2D-NestedUNet肺结节分割网络模型具有高召回率与高假阳特点，而基于3D区域生成框架的3D肺结节检测模型具有低假阳、低召回、但位置精确的特点，本发明融合了两者各自优点，基于NMS方法对所有候选结节位置进行过滤，为了解决检测过滤后仍存在大量假阳数据的现象，本发明还设置了一个基于残差网络的降假阳分类模型用于识别有无肺结节，从而对检测结果进行进一步的过滤，降低假阳率，从而提高真阳性预测结果，从而提高肺结节检测的精确度和效率。

附图说明

图1为实施例一流程示意图。

图2为实施例一3D肺部CT序列预处理的示意图。

图3为实施例一基于3D-RPN区域生成框架的肺结节检测示意图。

图4为实施例一基于2D-NestedUNet分割框架的肺结节检测示意图。

图5为实施例一降假阳模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一，一种CT图像肺结节高性能自动检测方法，如图1所示，包括以下步骤：

S1)获取待检测的3D肺部CT序列图像；

S2)对3D肺部CT序列图像进行预处理，如图2所示，包括步骤：

S21)对3D肺部CT序列图像进行三个方向上的异性插值，使三维肺部CT序列图像在三个方向的层厚为1mm*1mm*1mm，获得异性插值后的CT像素数据；三个方向包括x轴方向、y轴方向和z轴方向。x轴方向、y轴方向和z轴方向分别为肺结节的横截面、矢状面和冠状面方向。

S22)对异性插值后的CT像素数据进行肺窗处理；

S23)将肺窗处理后的CT像素数据归一化至[0,255]之间；

S24)利用图像语义分割网络提取肺腔图像，图像语义分割网络为Unet神经网络，包括步骤：

S241)将步骤S23)中归一化后的CT像素数据按z轴方向分解成2D影像序列；

S242)构建Unet神经网络，Unet神经网络包括n个下采样层、n个上采样层，第i层下采样层与第i层上采样层之间按通道拼接，1≤i≤n；前n-1个下采样层每层后接有最大池化层；第n个下采样层与第1个上采样层相连接；后n-1个上采样层每层后接有反卷积层；最后一个上采样层连接卷积核大小为1x1的卷积层，并输出肺腔分割结果；

S243)将2D影像序列作为输入并利用2D影像序列构建训练集，利用训练集对Unet神经网络进行训练，获得训练集分割结果；根据训练集分割结果计算损失函数，并使用梯度回传算法更新Unet神经网络参数；

S244)利用训练完成的Unet神经网络对待分割的2D影像序列进行预测，获得2D分割结果，把2D分割结果合并为3D分割结果输出，获得肺腔图像。

S25)获取肺腔图像的最大外接矩形框，将最大外接矩形框内的非肺腔区域的像素值设置为无意义像素值，获得预处理后的CT数据，无意义像素值为不同于最大外接矩形框内的肺腔区域的像素值，无意义像素值为170。

本实施例一通过获取肺腔的最大外接矩形框，从而剔除非肺腔区域，并用无意义的像素值填充最大矩形框内非肺腔区域。

S3)对预处理后的CT数据进行基于3D-RPN区域生成框架的3D肺结节检测，如图3所示，包括步骤：

S31)建立基于3D-RPN区域生成框架的3D肺结节检测模型，3D肺结节检测模型包括卷积编码单元和反卷积解码单元。

S32)以滑动窗口的方式将预处理后的CT数据裁剪成若干个128*128*128的立方体块；

S33)将若干个128*128*128的立方体块依次送入3D肺结节检测模型进行候选结节检测；

S34)获得进行基于3D-RPN区域生成框架的3D肺结节检测结果。

获得3D肺结节检测结果，3D肺结节检测结果包括肺结节预测位置和肺结节预测分数。

S4)预处理的CT数据沿着Z轴方向包括若干层CT图像，对预处理的CT数据进行基于2D-NestedUNet分割框架的肺结节检测，如图4所示，包括步骤：

S41)将沿着Z轴方向的每一层CT图像统一调整为256*256分辨率的灰度图；

S42)构建2D-NestedUNet肺结节分割网络模型；

S43)将若干层CT图像依次送入2D-NestedUNet肺结节分割网络模型中进行分割；

S44)对分割的结果提取连通区域中心(即提取肺结节的位置)，将提取的连通区域中心作为分割后的2D肺结节检测结果。

获得2D肺结节检测结果。

S5)将3D肺结节检测结果与2D肺结节检测结果进行加权融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

S6)建立基于残差网络的降假阳分类模型，将过滤后的肺结节检测结果输入至预训练好的降假阳分类模型，获得最终肺结节检测结果(见图5)。

对降假阳分类模型进行训练时，先获取CT序列样本图片，再对CT序列样本图片做差值归一化处理，根据步骤S5)输出的一系列候选位置数据(即过滤后的肺结节检测结果)从三维CT图像中提取多尺度的立方体块(如36*36*36或20*20*20)，然后将立方体块送入降假阳分类模型中进行分类，判断并输出分类结果。

一种CT图像肺结节高性能自动检测装置，包括图像获取模块、肺结节3D检测模块、肺结节2D分割模块、

图像获取模块，用于获取待检测的3D肺部CT序列图像；

图像预处理模块，用于对待检测的3D肺部CT序列图像进行预处理；

肺结节3D检测模块，用于将预处理之后的3D肺部CT序列图像输入至3D-RPN肺结节检测网络中，获取3D肺结节检测结果；

肺结节2D分割模块，用于将预处理之后的3D肺部CT序列图像输入至2D-NestedUNet肺结节分割网络模型中，获得2D肺结节检测结果；

候选肺结节融合处理模块，用于将3D肺结节检测结果和所述2D肺结节检测结果进行融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

降假阳模块，用于减少肺结节检测结果假阳的数量，使用残差网络作为基础网络建立分类模型，从而对过滤后的肺结节检测结果进一步筛检。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

基于2D-NestedUNet语义分割框架的2D-NestedUNet肺结节分割网络模型具有高召回率与高假阳特点，而基于3D区域生成框架的3D肺结节检测模型具有低假阳、低召回、但位置精确的特点，本发明融合了两者各自优点，基于NMS方法对所有候选结节位置进行过滤，为了解决检测过滤后仍存在大量假阳数据的现象，本发明还设置了一个基于残差网络的降假阳分类模型用于识别有无肺结节，从而对检测结果进行进一步的过滤，降低假阳率，从而提高真阳性预测结果，从而提高肺结节检测的精确度和效率。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种CT图像肺结节高性能自动检测方法，其特征在于，包括以下步骤：

S1)获取待检测的3D肺部CT序列图像；

S2)对所述3D肺部CT序列图像进行预处理，获得预处理后的CT数据；步骤S2)对所述3D肺部CT序列进行预处理，包括步骤：

S21)对所述3D肺部CT序列图像进行三个方向上的异性插值，使所述三维肺部CT序列图像在三个方向的层厚均相同，获得异性插值后的CT像素数据；所述三个方向包括x轴方向、y轴方向和z轴方向；

S22)对异性插值后的CT像素数据进行肺窗处理；

S23)将肺窗处理后的CT像素数据归一化至[0,255]之间；

S24)利用图像语义分割网络提取肺腔图像；

S25)获取所述肺腔图像的最大外接矩形框，将所述最大外接矩形框内的非肺腔区域的像素值设置为无意义像素值；

步骤S24)中所述图像语义分割网络为Unet神经网络，利用图像语义分割网络提取肺腔图像包括步骤：

S241)将步骤S23)中归一化后的CT像素数据按z轴方向分解成2D影像序列；

S242)构建Unet神经网络，所述Unet神经网络包括n个下采样层、n个上采样层，第i层下采样层与第i层上采样层之间按通道拼接，1≤i≤n；前n-1个下采样层每层后接有最大池化层；第n个下采样层与第1个上采样层相连接；后n-1个上采样层每层后接有反卷积层；最后一个上采样层连接卷积核大小为1x1的卷积层，并输出肺腔分割结果；

S243)将2D影像序列作为输入并利用所述2D影像序列构建训练集，利用所述训练集对所述Unet神经网络进行训练，获得训练集分割结果；根据训练集分割结果计算损失函数，并使用梯度回传算法更新Unet神经网络参数；

S244)利用训练完成的Unet神经网络对待分割的2D影像序列进行预测，获得2D分割结果，把2D分割结果合并为3D分割结果输出，获得肺腔图像；

S3)对所述预处理后的CT数据进行基于3D-RPN区域生成框架的3D肺结节检测，获得3D肺结节检测结果；步骤S3)中对所述预处理后的CT数据进行基于3D-RPN区域生成框架的3D肺结节检测，包括步骤：

S31)建立基于3D-RPN区域生成框架的3D肺结节检测模型；

S32)以滑动窗口的方式将预处理后的CT数据裁剪成若干个预设大小的立方体块；

S33)将所述若干个预设大小的立方体块依次送入所述3D肺结节检测模型进行候选结节检测；

S34)获得进行基于3D-RPN区域生成框架的3D肺结节检测结果；

所述3D肺结节检测模型包括卷积编码单元和反卷积解码单元；

S4)对所述预处理的CT数据进行基于2D-NestedUNet分割框架的2D肺结节检测，获得2D肺结节检测结果；

S5)将所述3D肺结节检测结果与所述2D肺结节检测结果进行融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

S6)建立基于残差网络的降假阳分类模型，将所述过滤后的肺结节检测结果输入至预训练好的降假阳分类模型，获得最终肺结节检测结果。

2.根据权利要求1所述的CT图像肺结节高性能自动检测方法，其特征在于，步骤S4)中所述预处理的CT数据沿着Z轴方向包括若干层CT图像，对所述预处理的CT数据进行基于2D-NestedUNet分割框架的肺结节检测，包括步骤：

S41)将沿着Z轴方向的每一层CT图像统一调整为预设分辨率大小的灰度图；

S42)构建2D-NestedUNet肺结节分割网络模型；

S43)将所述若干层CT图像依次送入所述2D-NestedUNet肺结节分割网络模型中进行分割；

S44)获得分割后的2D肺结节检测结果。

3.根据权利要求1所述的CT图像肺结节高性能自动检测方法，其特征在于，步骤S25)中所述无意义像素值为不同于最大外接矩形框内的肺腔区域的像素值，所述无意义像素值为170。

4.一种CT图像肺结节高性能自动检测装置，适用于如权利要求1至3任一所述的CT图像肺结节高性能自动检测方法，其特征在于，包括图像获取模块、图像预处理模块、肺结节3D检测模块、肺结节2D分割模块、候选肺结节融合处理模块和降假阳模块；

所述图像获取模块，用于获取待检测的3D肺部CT序列图像；

所述图像预处理模块，用于对待检测的3D肺部CT序列图像进行预处理；

所述肺结节3D检测模块，用于将预处理之后的3D肺部CT序列图像输入至3D-RPN肺结节检测网络中，获取3D肺结节检测结果；

所述肺结节2D分割模块，用于将预处理之后的3D肺部CT序列图像输入至2D-NestedUNet肺结节分割网络模型中，获得2D肺结节检测结果；

所述候选肺结节融合处理模块，用于将所述3D肺结节检测结果和所述2D肺结节检测结果进行融合，采用NMS方法对所有肺结节检测结果进行过滤，获得过滤后的肺结节检测结果；

所述降假阳模块，用于减少肺结节检测结果假阳的数量，使用残差网络作为基础网络建立分类模型，从而对过滤后的肺结节检测结果进一步筛检。

Images