CN116012355B - 一种基于深度学习的自适应假阳性肺结节剔除方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的自适应假阳性肺结节剔除方法，该方法的实现主体是一种基于3DCNN的自适应假阳性剔除网络，能够对不同大小的肺结节候选快进行分类，剔除假阳性肺结节；此外，根据肺结节的直径自动调整自适应率。本发明将待检测结节采样至22*22*20和32*32*24两种尺寸，之后分别放入两个独立的三维残差卷积神经网络中进行训练分类，借助自适应率对两个独立三维残差卷积神经网络的输出进行融合，能够对不同大小的结节候选快进行分类，剔除假阳性结节；本方法充分考虑了结节的直径，解决了其它系统泛化能力差的问题，从实际应用的过程中最大程度的利用了多尺寸肺结节的特征进行预测，保持了非常高的准确率。

Description

一种基于深度学习的自适应假阳性肺结节剔除方法

技术领域

本发明涉及一种基于深度学习的自适应假阳性肺结节剔除方法，属于计算机辅助诊断技术领域。

背景技术

肺结节是大多数早期肺癌病变的基本特征，因此肺结节的检测对于早期肺癌的诊断至关重要。传统的肺结节检测是由医生通过CT影像逐个筛选查找，这个过程非常耗时且容易出错。

随着深度学习与图像检测技术的发展，开发了大量基于深度学习的计算机辅助诊断(CAD)系统，为保证计算机辅助诊断系统的可靠性，都会在诊断之后使用假阳性检验模型进行诊断。但是目前大部分假阳性检验模型属于3D卷积神经网络模型，即通过肺结节的三维数据对其进行阳性分类。但是该模型仍然存在大量问题。

目前基于3D卷积神经网络的肺结节假阳性剔除模型有三大困难：

1、基于3D卷积神经网络分类的方法由于输入尺寸的限制，只能输入固定大小的CT数据进行假阳性分类，如果对CT数据进行尺寸拉伸或者填充操作，那么会不可避免地失真导致模型精度下降；

2、肺结节的尺寸并不固定，在限制输入尺寸后肺结节不一的尺寸带来的背景与目标不平衡的缺点，过小的输入尺寸无法检测大结节，过大的输入尺寸在面对小结节的时候有太多的背景存在，导致模型只有在小范围的尺寸内检测结节精度较高，超出这个范围模型的精度下降，不能很好的利用多尺度特征进行预测；

3、3D卷积神经网络的参数较多，需要大量的计算成本，需要大量的放射科医生对肺结节图像标注才能获取大量的数据。

发明内容

针对上述背景技术中传统肺结节图像检测的不足，本发明了一种基于3D卷积神经网络的肺结节假阳性剔除办法，该方法的实现主体是一种基于3DCNN的自适应假阳性剔除网络，能够对不同大小的肺结节候选快进行分类，剔除假阳性肺结节；此外，根据肺结节的直径自动调整自适应率，更加充分的利用了多尺度特征，同时能够解决单一3D卷积神经的网络的特征丢失问题。

本发明搭建了一种两通道自适应的多尺度融合分类模型，该模型相较于其他常见分类模型，充分考虑了的待分类结节的尺寸大小，将待检测结节采样至22*22*20和32*32*24两种尺寸，之后分别放入两个独立的三维残差卷积神经网络中进行训练分类，借助自适应率对两个独立三维残差卷积神经网络的输出进行融合，能够对不同大小的结节候选快进行分类，剔除假阳性结节；为了解决特征丢失问题，本发明方法设计了基于结节直径进行自动调整自适应率的方案，充分的利用了多尺度特征，当肺结节尺寸较大，自适应率就将权重更偏向于输入为32*32*24的网络，反之则将权重更偏向于输入为22*22*20的网络，从而达到自适应的目的。

本发明采用的技术方案为一种基于深度学习的自适应假阳性肺结节剔除方法，包括以下步骤：

S1、获取的3D肺CT图像，基于肺结节检测系统于3D肺CT图像中提取出肺结节区域中心坐标，之后根据肺结节区域中心坐标对3D肺CT图像进行切片采样，提取出3D待检测肺结节切片。

S2、根据S1所提取肺结节区域中心坐标提取出肺结节的边界框，从3D肺CT图像中获取肺部CT偏移量，得到像素与3D肺CT图像中的实际距离的关系；并根据该肺部CT偏移量以及肺结节的边界框，计算得出肺结节直径。

优选地，S1中所述3D待检测肺结节切片为二维切片，选取各个二维切片中边界框最大的对角线为肺结节的直径。

S3、根据S2中所得肺结节直径，计算得到自适应率，之后将肺结节采样至不同大小的两种尺寸的肺结节切块，两种尺寸的肺结节切块分别用于大结节和微小结节的检测训练，从而保证在检测微小结节时不会由于肺结节切片过小而丢失掉大结节的特征，也避免了训练大肺结节时微小肺结节切片负样本过多的情况，之后使用自适应假阳性剔除模型对肺结节进行假阳性检验，得到结节阳性概率。

进一步地，自适应率由肺结节直径决定，由于在医学定义中，肺结节的大小定义在3mm到30mm之间，所以当肺结节直径偏向30mm时，自适应率也就偏大，肺结节直径偏向3mm时，自适应率就偏小，根据肺结节尺寸在预设最大值与最小值之间的位置获得肺结节的自适应率，从而解决由于肺结节尺寸问题而导致的特征丢失。该最大值与最小值可由3D肺CT图像的数据集中的数据获得，也可人为定义。

进一步地，所述自适应假阳性剔除模型包括大结节分类模块、微小结节分类模块和自适应率融合模块；

S4、大结节分类模块的具体实施过程如下：

S4.1、将S1中3D待检测肺结节切片的尺寸裁剪至32*32*24，此外，由于医学影像数据获取困难，所以还需要对所采样下来的3D待检测肺结节切片进行数据增强，从而扩充样本数量，并用于负责检测大结节网络的训练与分类；

S4.2、将S4.1中3D待检测肺结节切片进行数据增强后，输入至3D卷积残差神经网络中进行预测；首先使用大量32*32*24的肺结节样本进行训练，得到32*32*24下的3D卷积残差神经网络的权重；

S4.3、利用3D卷积残差神经网络进行训练得到权重进行分类预测，输出该3D待检测肺结节切片属于假阳性结节的概率；若概率大于等于所设阈值，则为阳性；若概率小于所设阈值，则为假阳性；

S5、微小结节分类模块的具体实施过程如下：

S5.1、将S1中3D待检测肺结节切片的尺寸裁剪至22*22*20，输入至负责检测大结节的3D卷积残差神经网络的训练与分类，此外，由于医学影像数据获取困难，所以还需要对所采样下来的切块进行数据增强，从而扩充样本数量；用于负责检测大结节的3D卷积残差神经网络的训练与分类；

S5.2、将3D待检测结节切片输入至3D卷积残差神经网络中进行预测，首先使用大量22*22*20的肺结节样本进行训练，得到尺寸为22*22*20下的3D卷积残差神经网络的权重；

S5.3、利用3D卷积残差神经网络进行训练得到的权重并进行分类预测，输出3D待检测结节切片属于假阳性结节的概率，概率大于等于所设阈值则为阳性，概率小于该阈值，则为假阳性；

S6、自适应率融合模块，根据S3步骤所得到的自适应率，对S4，S5两个步骤中不同尺寸3D卷积网络预测所得概率进行加权融合，以自身尺寸为权重系数，最终输出。

进一步地，S4与S5步骤中所提到的数据增强操作具体方法为：

S1、对3D待检测肺结节切片进行旋转操作，确保肺结节在不同角度下也能被识别出来。

S2、通过使用图像增强技术，对样本进行增强处理，使肺结节像素发生细微变化，确保不同CT机下检测出的肺结节也能得到准确识别。

S3、在切片中加入高斯噪声，在CT检测过程中，很有可能出现伪影这种情况，在这种情况下很容易造成误识别，所以在神经网络训练的训练时加入一定噪声，加入10％数据量的伪影图片作为负样本，使网络能够在训练中发现这种情况，就能在一定情况下克服这一类情况。

S4、对含有肺结节的正样本训练图片进行复制，由于医学图像获取方式较为单一，且程序复杂困难，所以正样本是相对比较短缺的，因此将正样本单纯进行放大或缩小后复制进数据集，能够在一定程度上减少正负样本差距过大而带来的模型退化情况。

与现有技术相比较，本方法针对结节大小的不确定性，提出了一种新型的自适应假阳性结节筛选模型，使用3D卷积神经网络对不同尺寸的结节区域切片进行分类本方法在目前所有的假阳性检验模型中取得了很好的成绩，相较于其他假阳性结节剔除系统，本方法充分考虑了结节的直径，解决了其它系统泛化能力差的问题，从实际应用的过程中最大程度的利用了多尺寸肺结节的特征进行预测，保持了非常高的准确率。本发明在整个自适应假阳性剔除中，可以精准的实现肺部结节的识别，通过某医学中心的广泛测试投入实际应用，这可以大大减轻放射科医生的工作量。

附图说明

图1本方法实施的流程图。

图2CAD检测系统在LCS数据集上的性能比较。

图3Bottleneckblock示意图。

图4自适应假阳性剔除网络结构工作图。

具体实施方式

以下结合附图和实施例对本方法进行详细说明。

本发明采用的技术方案为一种基于深度学习的自适应假阳性肺结节剔除方法，基于该自适应假阳性肺结节剔除方法的肺结节假阳性剔除系统是一个基于3DCNN的模型系统。具体实现阶段如下：

第一阶段根据CT像素偏移量以及肺结节边界框，求得肺结节直径，获得肺结节直径的公式入式(1)所示，式中x_right、x_left、x_offset、y_top、y_bottom、y_offset，分别表示肺结节边界框的最右侧坐标，最左侧坐标，x轴的偏移量以及边界框的最上侧，最下侧以及y轴的偏移量。

diameter＝[(x_right-x_left)x_offset]²+[(y_top-y_bottom)y_offset]² (1)

其中，取肺结节最大边界框的对角线为肺结节直径。

第二阶段是计算自适应率，由于肺结节大小的不确定性，根据肺结节直径计算出肺结节的自适应率，获得自适应率α的公式如式(22)所示，其中diameter代表了结节直径：

第二阶段为搭建假阳性肺结节分类网络，选用的分类网络是Resnet，Resnet利用残差链接，充分利用了浅层特征，有效避免了梯度爆炸等问题，在图像分类上拥有非常好的效果，非常适合应用于结节的分类。Resnet的基础元件为Bottleneckblock，其结构如图3所示。

其中，由于输入肺结节为一个三维切片，因此用于分类的卷积神经网络也应选用三维卷积神经网络，三维神经网络对于算力的要求相对较高，并且医学图像相对较为均匀，结构相对固定，因此采用Resnet-18作为主要网络框架。

第三阶段为肺结节的多尺度采样，在提取出待检测结节之后，由于肺结节的大小的不确定性，所以需要对肺结节进行多尺度采样，将结节采样22*22*20和32*32*24两种尺寸。搭建好分类网络后，由于医学数据集获取困难切正样本较少，所以需要将得到的切块进行数据增强；数据增强的具体步骤如下：

S1、对图像进行旋转操作，确保结节在不同角度下也能被识别出来。

S2、通过使用图像增强技术，对样本进行增强处理，使结节像素发生细微变化，确保不同CT机下检测出的结节也能得到准确识别。

S3、在切片中加入高斯噪声，在CT检测过程中，很有可能出现伪影这种情况，在这种情况下很容易造成误识别，所以在训练时加入一定噪声，就能在一定情况下克服这一类情况。

S4、对正样本进行复制，由于医学图像获取方式较为单一，切程序复杂困难，所以正样本是相对比较短缺的，因此将正样本单纯进行放大或缩小后复制进数据集，能够在一定程度上减少正负样本差距过大而带来的模型退化情况。

在进行了数据增强后，将采样得到的22*22*20和32*32*24两种尺寸的切片分别作为输入放入两个resnet3D网络训练分类，从而得到一个分类效果很好的分类器，其示意图如图4所示。

最终将输入为32*32*24以及输入为22*22*20的两个网络的输出概率，与之前步骤所得的自适应率加权融合，得到结节为假阳性的概率，其公式如式(2)所示，其中sigmoid(N_22×22)代表较小结节分类模块所输出的概率，sigmoid(N_36×36)代表大结节分类模块所输出的概率，α代表自适应率：

prob＝α(sigmoid(N_22×22))+(1-α)(sigmoid(N_36×36)) (2)

最后根据输出概率来确定结节分类。

实施例

在Luna16肺结节公开数据集上本方法取得了领先于其他方法的效果。

表1与其他方法的假阳性率对比

本系统引入了自适应率，以优化模型的泛化能力，使之能够对不同尺寸的结节进行更准确的分类，表2为当选取自适应率以及在引入自适应率的情况下，明显可以看出当选用自适应率后，其表现比其他的加权融合的效果都要更好，整个系统的假阳性剔除效果有了显著的提升。

表2本系统检测系统在LUNA16数据集上选取不同自适应率下的性能比较

Claims (4)

1.一种基于深度学习的自适应假阳性肺结节剔除方法，其特征在于，包括以下步骤：

S1、获取的3D肺CT图像，基于肺结节检测系统于3D肺CT图像中提取出肺结节区域中心坐标，之后根据肺结节区域中心坐标对3D肺CT图像进行切片采样，提取出3D待检测肺结节切片；

S2、根据S1所提取肺结节区域中心坐标提取出肺结节的边界框，从3D肺CT图像中获取肺部CT偏移量，得到像素与3D肺CT图像中的实际距离的关系；并根据该肺部CT偏移量以及肺结节的边界框，计算得出肺结节直径；

S3、根据S2中所得肺结节直径，计算得到自适应率，之后将肺结节采样至不同大小的两种尺寸的肺结节切块，两种尺寸的肺结节切块分别用于大结节和微小结节的检测训练，从而保证在检测微小结节时不会由于肺结节切片过小而丢失掉大结节的特征，也避免了训练大肺结节时微小肺结节切片负样本过多的情况，之后使用自适应假阳性剔除模型对肺结节进行假阳性检验，得到结节阳性概率；

所述自适应假阳性剔除模型包括大结节分类模块、微小结节分类模块和自适应率融合模块；

S4、大结节分类模块的具体实施过程如下：

S4.1、将S1中3D待检测肺结节切片的尺寸裁剪至32*32*24，对所采样下来的3D待检测肺结节切片进行数据增强扩充样本数量，并用于负责检测大结节网络的训练与分类；

S4.2、将S4.1中3D待检测肺结节切片进行数据增强后，输入至3D卷积残差神经网络中进行预测；首先使用大量32*32*24的肺结节样本进行训练，得到32*32*24下的3D卷积残差神经网络的权重；

S4.3、利用3D卷积残差神经网络进行训练得到权重进行分类预测，输出该3D待检测肺结节切片属于假阳性结节的概率；若概率大于等于所设阈值，则为阳性；若概率小于所设阈值，则为假阳性；

S5、微小结节分类模块的具体实施过程如下：

S5.1、将S1中3D待检测肺结节切片的尺寸裁剪至22*22*20，输入至负责检测大结节的3D卷积残差神经网络的训练与分类；对所采样下来的切块进行数据增强，从而扩充样本数量；用于负责检测大结节的3D卷积残差神经网络的训练与分类；

S5.2、将3D待检测结节切片输入至3D卷积残差神经网络中进行预测，首先使用大量22*22*20的肺结节样本进行训练，得到尺寸为22*22*20下的3D卷积残差神经网络的权重；

S5.3、利用3D卷积残差神经网络进行训练得到的权重并进行分类预测，输出3D待检测结节切片属于假阳性结节的概率，概率大于等于所设阈值则为阳性，概率小于该阈值，则为假阳性；

S6、自适应率融合模块，根据S3步骤所得到的自适应率，对S4，S5两个步骤中不同尺寸3D卷积网络预测所得概率进行加权融合，以自身尺寸为权重系数，最终输出。

2.根据权利要求1所述的一种基于深度学习的自适应假阳性肺结节剔除方法，其特征在于，S1中所述3D待检测肺结节切片为二维切片，选取各个二维切片中边界框最大的对角线为肺结节的直径。

3.根据权利要求1所述的一种基于深度学习的自适应假阳性肺结节剔除方法，其特征在于，自适应率由肺结节直径决定，根据肺结节尺寸在预设最大值与最小值之间的位置获得肺结节的自适应率，从而解决由于肺结节尺寸问题而导致的特征丢失；该最大值与最小值由3D肺CT图像的数据集中的数据获得或者人为定义。

4.根据权利要求1所述的一种基于深度学习的自适应假阳性肺结节剔除方法，其特征在于，数据增强操作具体方法为：

S1、对3D待检测肺结节切片进行旋转操作，确保肺结节在不同角度下也能被识别出来；

S2、通过使用图像增强技术，对样本进行增强处理，使肺结节像素发生细微变化，确保不同CT机下检测出的肺结节也能得到准确识别；

S3、在切片中加入高斯噪声，在神经网络训练的训练时加入一定噪声，加入10％数据量的伪影图片作为负样本；

S4、对含有肺结节的正样本训练图片进行复制，将正样本单纯进行放大或缩小后复制进数据集。