CN110942446A - 一种基于ct影像的肺结节自动检测方法 - Google Patents

Abstract

本发明是一种基于CT影像的肺结节自动检测方法，包括以下步骤：步骤1：利用公开肺部数据集建立训练及测试样本集：包括读取CT数据集原始文件，将肺结节所在图像与其前后层相邻图像合成为一组三通道数据，对其进行伪彩色化处理，使用数据增强的方法扩展样本集；步骤2：建立肺结节检测网络：包括构建特征提取主干网络、多尺度特征层融合网络和候选框回归与预测网络；步骤3：利用训练样本对肺结节检测网络进行训练，得到训练好的检测模型；步骤4：在测试数据集中验证检测模型、检测肺结节位置。本发明利用训练样本对肺结节检测网络进行训练，得到训练好的检测模型，在保证总体检出率的前提下，降低假阳性，辅助医生提高诊断效率。

Description

一种基于CT影像的肺结节自动检测方法

技术领域

本发明是一种基于CT影像的肺结节自动检测方法，涉及医学影像计算机辅助诊断领域。

技术背景

肺癌是全球范围内致死率较高的恶性疾病之一。2016年，世界癌症研究机构(IARC)统计显示，癌症患者的数量每年都在增加，肺癌在各种癌症中的占比高达85％左右，是占比最大的疾病。肺癌在早期临床表现不明显，并不能引起患者重视。当肺癌发展至晚期阶段，癌细胞扩散导致病人几乎无法挽救。早期肺癌主要表现为无症状的肺部小结节，因此，定期对肺部进行检查，可及早发现肺癌的发生，通过及时治疗可显著地降低肺癌死亡率。

最常见的肺结节筛查方式是使用计算机断层扫描(CT)技术进行检测。放射科医师根据CT图像对疑似结节区域进行筛查。在现实条件下，尤其是薄层CT的广泛使用，诊断大量的CT图像会消耗医生大量的时间和精力。随着诊断病患数量的不断增多，医生的诊断效率也会下降。因此，利用计算机辅助诊断系统实现对肺结节的检测，有助于医生提高诊断效率、减轻工作负担，这在临床医学中有着迫切的需求。

传统的医学图像肺结节检测算法通过对CT数据预处理、肺实质区域分割、提取候选区域、特征提取和肺结节目标的分类识别等流程实现对肺结节的检测。但是，人工提取形态学特征、纹理特征、局部特征存在局限性，并且方法流程繁琐，检测准确率低。

自2012年Alexnet被提出以来，深度学习(深度卷积神经网络)技术在计算机视觉领域取得了压倒性的优势，实现了端到端的目标检测与分类。深度学习中的卷积网络结构具备自动学习样本特征的能力，可以充分利用图像中的高阶语义信息，减少人工特征的设计。在肺结节辅助检测领域，使用深度学习方法替代传统方法实现自动化和智能化的检测，具有良好的发展前景，并且已经得到广泛的关注。

现有的深度学习肺结节检测算法中，主要存在以下不足：

1)现有算法大部分在二维图像上进行肺结节检测，无法利用CT数据的空间信息，存在准确率较低和假阳性率较高的缺陷，限制了其在实际临床诊断中的应用。目前已有一些探索性研究，利用3D-CNN网络在三维CT序列中进行检测，但三维网络结构复杂，卷积核占用计算资源大、检测的计算速度效率低。

2)基于深度卷积神经网络的目标检测算法框架来源于自然图像任务。现有肺结节检测算法并未结合医学先验知识对检测框架进行调整与优化。常见检测网络框架结构冗余，参数量大造成了网络训练周期长，模型无法小型化的缺陷。

3)在肺结节检测网络训练过程中，非结节候选框的数量远多于结节和假阳性结节区域的候选框，候选框正负样本严重失衡。同时，现有网络损失函数并未充分考虑难分候选框的预测损失，导致了网络模型生成候选框准确度低、数量庞大的问题。

发明内容

本发明的目的是提供一种基于CT影像的肺结节自动检测方法，利用训练样本对肺结节检测网络进行训练，得到训练好的检测模型。本发明能够在保证总体检出率的前提下，降低假阳性，有助于减轻医生阅片压力，提高医生诊断效率。

为实现本发明的目的所采用的技术方案是：

一种基于CT影像的肺结节自动检测方法，其特征在于，包括以下步骤：

步骤1：利用公开肺部数据集建立训练样本集；读取CT数据集原始文件，将肺结节所在图像与其前后层相邻图像合成为一组三通道数据，对其进行伪彩色化处理，最后使用数据增强的方法扩展样本集；

步骤2：建立肺结节检测网络：包括构建特征提取主干网络、多尺度特征层融合网络和候选框回归与预测网络；

步骤3：利用训练样本对肺结节检测网络进行训练，得到训练好的检测模型；

步骤4：在测试数据集中验证检测模型、检测肺结节位置。

本发明的有益效果是：

1、将待检测CT图像与其相邻的前后序列图像三通道的伪彩色图像，充分利用了肺部CT的三维空间信息，提高了检测准确率，降低了假阳性。同时，与三维卷积神经网络(3D-CNN)方法相比，此种方式采用二维卷积神经网络(2D-CNN)处理序列化CT数据，并将检测结果映射到二维CT图像中。网络结构简单，内存消耗小，计算效率高。

2、针对肺结节实际尺寸的分布情况，利用K-means方法重新调整了anchor box的大小。将特征金字塔结构从三层缩减为两层，简化了目标检测框架的网络结构。

3、针对正负样本比例严重失衡的问题。本文在候选框回归与分类网络中对边框的置信度损失使用局部关注损失(Focal loss)替换原有的交叉熵。通过引入调节因子与加权系数，该损失函数能够更好地帮助检测模型关注难分样本，解决正负样本不平衡的问题。

附图说明

为了使本发明的技术方案更加清晰，下面结合附图对本发明进行详细描述，其中：

图1为肺结节检测算法流程图。

图2为数据集三层CT数据伪彩色化图像。

图3为检测框架骨干网络Darknet-53的网络结构图。

图4为三层特征金字塔网络结构图。

图5为尺度优化后的肺结节检测框架图。

图6为边框回归与类别预测网络的结构图。

图7a为肺实质图像检测结果之一。

图7b为肺实质图像检测结果之二。

具体实施方式

为了使本发明的目的、技术方法及优点更加明显，下面结合图1-6、图7a、图7b及具体实施方式对本发明做进一步的详细说明。此处描述的具体实施方式仅用来解释本发明，并限定于本发明。本发明亦可通过其他具体实施方法进行应用。可根据相似需求背景，在不背离本发明思路下进行修饰或修改。

本发明提出一种基于CT影像的肺结节自动检测方法，其流程图如图1所示，具体包括以下步骤：

步骤1：建立训练样本集；

具体包括以下步骤：

步骤1.1：鉴于公开数据集中肺部CT信息由.mhd给出，具体CT数值数据存储在.raw文件中，即从ISBI的LUNA16开源数据集中的.mhd和.raw文件中获取肺部CT数据和CT图像信息；首先，需要从.mhd文件中获得CT的层厚Z毫米、在二维平面上单像素对应实际间距(X,Y)毫米，如：(X,Y,Z)＝(0.66402,0.66406,0.625)。CT数据在二维上的尺寸为512x512。由于CT图像采集层厚的不同，三维尺寸会呈现不同的数量。

步骤1.2：本文选取肺窗-1000HU-400HU作为CT值的截断窗口，将CT值归一化到0-1的范围。高于400HU的CT值归一化后的数值为1，低于-1000HU的CT值归一化后的数值为0。

步骤1.3：肺结节标注文件给出结节的质心坐标。结合步骤1.1中得到的单像素对应间距和层厚，确定肺结节在CT数据中的三维像素坐标和半径。

步骤1.4：根据肺结节的三维像素坐标，将结节所在图像与其前后层相邻图像合成为一组三通道数据，然后进行伪彩色化处理，得到训练样本。如图2所示为一幅合成的伪彩色图像。

步骤1.5：形变与调节亮度及对比度等图像增强方法会改变医学图像的病理学语义，进而造成增强后的CT图像与客观病理不符的现象。因此，本专利对训练样本仅使用旋转、翻转的数据增强方法。

步骤2：建立肺结节检测网络，具体包括以下步骤：

步骤2.1:本专利使用Darknet-53作为骨干网络进行特征提取。Darknet-53网络模型由53个卷积层和5个最大池化层组成，如图3所示。网络结构中使用了跨层连接(skipconnection)的结构来减缓梯度的消失，提高了网络模型的特征提取能力。骨干网络自底向上生成特征图Ⅰ、特征图II、特征图Ⅲ。三种特征的尺度依次减半分别为64×64、32×32和16×16。

步骤2.2：特征金字塔网络自顶向下产生特征图Ⅳ、特征图Ⅴ、特征图Ⅵ。特征图尺寸分别16x16、32x32和64x64。当前特征图为上一个特征图经过2倍上采样得到。2倍上采样由1×1卷积操作和转置卷积的方式组成。

步骤2.3：将特征图Ⅰ、特征图II、特征图Ⅲ与特征图Ⅳ、特征图Ⅴ、特征图Ⅵ分别在特征金字塔层Ⅰ、特征金字塔层II、特征金字塔层Ⅲ上融合，生成各特征金字塔层上输出的特征图，如图4所示。

步骤2.4:根据肺结节的尺寸范围，本文优化anchor box尺寸，将K-means的聚类中心数量设置为6，并裁剪了特征金字塔，将特征塔的层数减少为两层，裁剪掉精度较低的尺度为16x16的特征图，进而简化了网络结构，如图5所示。。32x32与64x64的特征图对应的anchor box的尺寸分别为[(6,6),(8,8),(10,10)]和[(12,12),(16,16),(24,24)]。

步骤2.5边框回归与类别网络基于两种尺度特征图与anchor box尺寸对候选框坐标进行回归预测，获得两种尺度下的提议检测框的坐标与置信度，并对提议检测框内的类别概率进行预测。图6为边框回归与类别预测网络的结构图。在32x32的特征图中每个像素的先验框上，都会预测4个边框回归值，1个候选框置信度和1个类别概率。每个像素的先验框数量为3。

步骤2.6根据边框回归与类别网络输出的边框坐标、置信度和类别概率，得到总体损失函数。

步骤2.7每一个尺度特征层对应一个边框回归与类别预测网络。每个对边框置信度损失使用局部关注损失(Focal loss)进行修改，修改后的置信度损失为：

其中，调节因子γ取值为2。变形后的损失函数会降低易分样本的损失权重，专注于训练难分样本。加权因子α取值0.95，以此来提高肺结节和假阳性结节候选框的损失权重。

步骤3：利用训练样本对肺结节网络训练，具体包括以下步骤：

步骤3.1:将获得样本按照5:1的比例分为训练集和测试集。训练数据集最终数量为2500张，测试集数量为500张。使用训练集训练网络，并从中随机抽取部分样本作为交叉验证集使用。

步骤3.2:鉴于肺结节的训练样本数有限，采用迁移学习的方法，在Darknet53网络上进行自然图像分类的训练，然后使用肺结节检测数据集在预训练参数基础上进行参数微调。

步骤3.3：对已有的数据进行数据增强，以增加训练集样本数量，进而增强模型的泛化能力，防止模型在训练过程中出现过拟合现象。

步骤4：在测试数据集中验证检测模型、检测肺结节位置。

检测结果与实验对比结果。

在对肺结节检测算法进行评价时，需要根据合理的评价标准对算法性能进行判断。从本质上讲，肺结节检测算法是带有定位功能的分类算法。因此在衡量检测结果时也会出现真阳性、假阳性、真阴性和假阴性四种情况。但是，检测算法在分类的基础上还具有定位功能。因此上述四种情况的定义与分类中的定义略有不同。在肺结节目标检测中会根据检测目标预测框与ground truth的IoU值判定是否检测到了目标。本文中IoU值大于0.5代表正确检测到肺结节。根据检测算法的特点，对检测算法中真阳性、假阳性、真阴性和假阴性四种情况给出定义。

真阳性(TP)：检测算法的预测区域判定为结节，且预测区域与实际病变区域IoU值大于0.5。此时检测算法的结果与医生诊断相符，都确诊为有结节。

假阳性(FP)：检测算法的预测区域判定为结节，且预测区域与实际病变区域IoU值小于0.5。此时检测算法的结果与医生诊断不相符。

真阴性(TN)：检测算法的预测区域判定为非结节，且预测区域与实际病变区域IoU值小于0.5。此时检测算法的结果与医生诊断相符，都确诊为无结节。

假阴性(FN)：检测算法的预测区域判定为非结节。且预测区域与实际病变区域IoU值大于0.5。此时检测算法的结果与医生诊断不符。

根据如上四种情况，本文使用召回率、精确度两个指标对肺结节检测算法的性能做进一步评判。具体评判指标的表示如下所示。

召回率:描述了算法能够正确判断数据为阳性的能力。召回率越高，代表系统的性能越好，漏诊率越低。其计算公式如式所示。

精确度：其值为检测算法正确判定为阳性数据的数量与判定为阳性的数据总数的比值。其计算公式如式所示。

(1)检测过程实验结果。

本文利用训练后的检测算法对多张肺实质图像进行检测。由于结节出现的位置分布在肺的不同区域，因此待检测图像的肺实质会呈现不同形态，其检测结果如图7所示。绿色检测框为标注候选框，粉色检测框为检测模型输出的结节检测框。由检测结果可以看出，本算法在针对不同位置、形态和尺寸的肺结节有着较好的检测效果。

(2)目标检测算法性能指标分析。

本文使用前文中肺结节检测算法评价标准中召回率、精确率、漏检率和误诊率四种指标进行对比分析。本实验选取500个样本，并在此测试样本集上进行多次测试。其测试结果如下表所示。在测试集上，肺结节检测的最高精确率为92.29％，最高召回率为93.1％，平均精确率为91.86％，平均召回率为92.97％；如表1所示。由实验结果可知本文提出的检测算法对于不同区域与形态的肺结节有着较好召回率，即检出效果较好。

表1目标检测算法性能指标

(3)与YOLO系列模型的对比分析

本发明构建的肺结节检测算法，使用了序列化图像代替单层图像作为网络的输入。在训练过程中，面向实际数据使用聚类的方法重新调整模型的anchor的尺寸与数量，降低了特征金字塔的层数，减小了网络参数量。在损失函数方面，在检测框置信度预测损失中引入Focal loss改进损失函数。其与目前先进的YOLO系列模型对比结果如下表2所示，对比结果表明本发明所提出的方法优于YOLO系列模型。

表2与YOLO系列模型对比结果

Claims (4)

1.一种基于CT影像的肺结节自动检测方法，其特征在于，包括以下步骤：

步骤1：利用公开肺部数据集建立训练样本集；读取CT数据集原始文件，将肺结节所在图像与其前后层相邻图像合成为一组三通道数据，对其进行伪彩色化处理，最后使用数据增强的方法扩展样本集；

步骤2：建立肺结节检测网络：包括构建特征提取主干网络、多尺度特征层融合网络和候选框回归与预测网络；

步骤3：利用训练样本对肺结节检测网络进行训练，得到训练好的检测模型；

步骤4：在测试数据集中验证检测模型、检测肺结节位置。

2.根据权利要求1所述的一种基于CT影像的肺结节自动检测方法，其特征在于，步骤1还包括如下步骤：

步骤1.1：从ISBI的LUNA16开源数据集中的.mhd和.raw文件中获取肺部CT数据和CT图像信息；

步骤1.2：选择肺窗窗口，对CT数据进行归一化处理；

步骤1.3：根据步骤1.1获取的CT图像信息，确定肺结节在CT数据中的三维像素坐标和半径；

步骤1.4：结合肺结节的坐标信息，将肺结节所在图像与其前后层相邻图像合成为一组三通道数据，然后对三通道数据进行RGB伪彩色化，得到训练样本集；

步骤1.5：使用旋转或翻转的方法对训练样本集进行数据增强。

3.根据权利要求1所述的一种基于CT影像的肺结节自动检测方法，其特征在于，步骤2还包括如下步骤：

步骤2.1：以Darknet-53网络作为骨干网络进行特征提取，自底向上产生三种尺度特征图，分别为特征图Ⅰ、特征图II、特征图Ⅲ；特征图I～III的尺寸依次减半；

步骤2.2：采用特征金字塔自顶向下地对特征图进行卷积操作，并利用上采样操作得到高分辨率的特征图，分别记为特征图Ⅳ、特征图Ⅴ、特征图Ⅵ；

步骤2.3：将特征图Ⅰ、特征图II、特征图Ⅲ与特征图Ⅳ、特征图Ⅴ、特征图Ⅵ分别在特征金字塔层Ⅰ、特征金字塔层II、特征金字塔层Ⅲ上进行拼接，生成三种尺度的新特征图；

步骤2.4在步骤2.3的基础上，根据肺结节实际尺寸范围，对网络结构进行尺度优化，使用K类均值聚类法获得适应肺结节尺寸的先验框；将特征金字塔缩减为两层，删减尺度最小的特征层，保留尺度较大的两个特征金字塔层；

步骤2.5每一个尺度特征层对应一个边框回归与类别预测网络；边框回归与类别预测网络基于两种尺度特征图与先验框尺寸对候选框坐标进行回归预测，获得两种尺度下的提议检测框坐标与置信度，并对提议检测框内的类别概率进行预测；

步骤2.6根据边框回归与类别网络输出的边框坐标、置信度和类别概率，得到总体损失函数；

其中，下标ij表示第i个单元格的第j个边界框，x,y,w,h,C和p(c)为网络的预测值,

和

为真实标注值；x,y为边框的中心坐标；w,h为边框的宽与高，宽和高的取值为相对于先验框的归一化值；C为预测框的置信度；p(c)为目标中肺结节的预测概率；S为特征图尺度的大小，B为特征图上每个像素对应的先验框数量；

代表检测目标落入第i个单元格的第j个边界框内；

代表检测目标未落入第i个单元格的第j个边界框内；classes为目标检测中的类别集合；

和

为权重系数；

步骤2.7：在步骤2.6的基础上对边框置信度损失使用局部关注损失函数进行修改，局部关注损失函数的定义为：

L＝-y(1-y′)^γlogy′-(1-y)y′^γlog(1-y′)

其中，调节因子γ是一个超参数；变形后的损失函数会降低易分样本的损失权重，令网络专注于训练难分样本；y∈{0,1}表示类别；1代表正样本，0代表负样本；y′为预测概率输出值，y′∈(0,1)。

4.根据权利要求1所述的一种基于CT影像的肺结节自动检测方法，其特征在于，步骤3还包括如下步骤：

步骤3.1：将获得样本按照5:1的比例分为训练集和测试集；使用训练集训练网络，并从中随机抽取部分样本作为交叉验证集使用；

步骤3.2：鉴于肺结节的训练样本数有限，采用迁移学习的方法，在Darknet-53网络预训练参数基础上进行参数微调；

步骤3.3：对已有的数据进行数据增强，以增加训练集数量，进而提高模型的泛化能力，防止模型在训练过程中出现过拟合现象。

Images