CN111369530B - 一种基于深度学习的ct图像肺结节快速筛查方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的CT图像肺结节快速筛查方法，涉及CT图像处理技术领域，包括CT图像的预处理、分类模型的构建、分类网络的训练数据准备、分类网络的测试数据准备并预测、分割模型的数据准备和分割模型的构建；其中构建至少一个二分类网络，分类网络输入是三维图像，输出是包含肺结节的概率。分类网络的训练数据是将图像切割成小尺寸图像；分类网络预测时，需要将切割后的图像输入至分类网络中进行预测，根据该阈值筛选图像，去除包含结节的概率小于该阈值的切割后的图像；测试数据是最后一个网络中包含肺结节概率较大的图像。而分割模型输出是肺结节的mask。本发明可以提高肺结节的检出率，同时减少检出肺结节所花费的时间。

Description

一种基于深度学习的CT图像肺结节快速筛查方法

技术领域

本发明涉及一种基于深度学习的CT图像肺结节快速筛查方法，属于CT图像处理技术领域。

背景技术

肺癌是常见的恶性肿瘤，因此早期发现和治疗至关重要，判断肺部是否存在肺结节是早期预防肺癌的有效方法。

如果所有的CT图像都是由医生进行筛查是否存在肺结节，那医生的工作量就会很大，而且很容易导致漏诊或误诊。计算机辅助诊断系统可以利用机器学习的方法对肺部CT图像进行处理，最终对肺部CT图像中的肺结节进行筛查。这样不仅可以大大地减轻医生的阅片压力，也可以为医生提供判别肺结节的意见，对肺癌的诊断有着重要的意义。

目前的CT图像中肺结节的自动识别和检测技术中，主要是利用卷积神经网络来提取图像的特征，从而检测出图像中的肺结节。但是肺部区域包含很多类似结节的生理结构，比如肺部血管，而且肺结节的大小、形状和类型又有很多种，所以肺结节检测结果中假阳性较高。现在一般的肺结节筛查方法充分利用了分割效果较好的Unet网络和特征提取效果较好的ResNet，分割网络Unet在肺结节筛查中主要是计算出疑似结节的掩膜(mask)，进而判断结节的具体位置，而分类网络ResNet是提取图像中某个区域的特征，进行判断是否包含肺结节。

现在常用方法的具体过程为：首先将三维CT图像切割为小尺寸的图像，然后用分割网络计算疑似结节的mask，从而确定了结节的具体位置，然后再以疑似结节为中心切割为小尺寸图像，利用分类网络(一个二分类网络)，判断该小尺寸图像中是否存在结节，即去除假阳性结节。但上述方法主要存在以下问题：

(1)分割网络需要对整个图像进行随机切割，如果切割后的图像尺寸比较大，就会导致网络参数比较多，训练比较慢；如果切割后的图像尺寸比较小，就需要对更多的小尺寸图像进行预测，大大加长检出时间，导致时间浪费。

(2)如果切割后的图像比较大，而结节的比较小，利用分割网络就无法准确给出结节的mask，而且会导致分割模型训练起来比较慢。

换而言之，现有技术先利用分割网络找出所有疑似肺结节，再利用一个二分类网络去除假阳性结节。导致分割网络需要处理较大尺寸的图像，而且肺结节占比较小，标记的肺结节mask不太准确。而且利用分割网络找出所有疑似肺结节，会存在大量的假阳性结节。

基于此，做出本申请。

发明内容

为了解决现有技术中存在的上述缺陷，本发明提供了一种基于深度学习的CT图像肺结节快速筛查方法，可以提高肺结节的检出率，同时减少检出肺结节所花费的时间。

为了实现上述目的，充分利用分类网络的特性，找出包含结节概率比较大的区域，本发明采取的技术方案具体如下：

(1)CT图像的预处理：原始的肺部CT图像都是三维图像，首先，根据肺部窗宽和窗位对所有的三维CT图像进行归一化。

(2)分类模型的构建：分类网络主要是判别给定区域包含肺结节的概率，所以要构建一个二分类网络，输入是三维的图像，输出是包含肺结节的概率，分类模型可以采用效果比较好的ResNet、Vgg和Inception等网络。为了逐步筛选出包含肺结节的区域，本发明可以利用多个分类网络。

(3)分类网络的训练数据准备：训练数据有结节的具体信息，可以根据结节的位置，切割出正样本数据和负样本数据。包含肺结节的小尺寸三维图像作为正样本，不包含肺结节的小尺寸三维图像作为负样本。每个分类网络的训练图像尺寸都不一样，具体切割图像的尺寸，要根据分类网络的个数去设置。

(4)分类网络的测试数据准备并预测：第一个分类网络的测试数据是将整个三维CT图像切割为小尺寸图像，直接可以利用分类网络进行预测，计算出小尺寸图像有肺结节的概率。后面的分类网络输入图像，是对上一个网络测试结果中包含肺结节概率大于阈值的图像进一步切割得到的，保证每个分类网络的测试数据尺寸要与训练时候保持一致。

分类网络针对不同尺寸的图像进行训练和预测，最终确定了整个图像中包含肺结节概率较大的区域。虽然分类网络能找出包含肺结节概率较大的区域，但是无法给出肺结节在该区域中的具体位置信息，所以需要分割模型，计算出区域内肺结节的mask，进而得到肺结节的位置信息。分割模型的具体过程如下：

(6)分割模型的数据准备：训练数据是包含肺结节的图像，尺寸与最后一个分类网络输入图像的尺寸一致，图像包含由专家标记的肺结节的mask作为标签。测试数据是最后一个网络中包含肺结节概率较大的图像。

(7)分割模型的构建：分割模型主要是用来标记区域内肺结节的mask，从而给出肺结节的位置信息，所以要构建一个输入数据是三维图像的分割模型，输出是肺结节的mask，可以采用Unet、nnUnet和ResUnet等网络。

本发明的原理：本发明基于深度学习方法，充分利用分割网络和分类网络的特性，首先，利用多个分类网络筛选出整个CT图像中含有肺结节概率大于某一阈值的小区域，然后，再利用分割网络标记出小区域内肺结节的mask，从而得到整个图像的肺结节位置。分类网络中用来筛选区域的阈值要根据具体的预测结果设定，为了不遗漏肺结节，阈值要逐渐增大。

本发明的有益技术效果：

(1)由于利用多个分类网络筛选有肺结节的区域，提高了肺结节的检出率，同时也降低了假阳性率。

(2)由于整个CT图像中肺结节区域占整个图像的比率较小，通过分类网络可以快速过滤掉包含肺结节概率较小的区域，主要分析包含肺结节概率较大的区域，从而提高了肺结节的筛查效率。

(3)由于分割网络处理的图像尺寸比较小(肺结节区域占整个图像的比率较小)，可以更加精确标记肺结节。

附图说明

图1为本实施例一种基于深度学习的CT图像肺结节快速筛查方法的流程图；

图2为本发明分类网络ResNet的结构图；

图3为本发明的分割网络Unet的结构图；

图4为本发明的肺结节筛查方法预测示意图。

具体实施方式

为了使本发明的技术手段及其所能达到的技术效果，能够更清楚更完善的披露，兹提供了以下实施例，并结合附图作如下详细说明：

本发明在此提出了一种基于深度学习的CT图像肺结节快速筛查方法，系统主要有两部分构成：利用多个分类网络找出包含肺结节概率较高的区域，利用分割网络计算出肺结节的mask，进而确定肺结节的具体位置。为了能清晰地描述本发明，下述所描述的实施例中，只采用了两个分类模型，但是本发明不限于只使用两个分类模型。

图1是本发明提出的一种基于深度学习的CT图像肺结节快速筛查方法中，只采用了两个分类模型的整体工作流程示意图，下面结合流程示意图对本发明的具体实施过程进行详细说明。

步骤S101：图像数据预处理

预处理主要是对图像数据进行相应的变换，原始地肺部CT图像都是100-600层的512×512大小的图像，根据窗宽和窗位对图像进行归一化，把图像的体素值都转到[0,1]，为了提高模型的泛化能力，在训练数据中进行数据增强。

步骤S102：准备分类模型一的数据

因为原始CT图像的尺寸比较大，不能全部输入到模型中进行训练，而且对于体积比较小的肺结节在大尺寸图像中很难被识别，所以要对原始图像进行切割。对于训练数据的准备，包含肺结节的尺寸为N×N×N的图像作为正样本，不包含肺结节的尺寸为N×N×N的图像作为负样本。因为在预测时无法保证结节在小尺寸图像中的位置，所以正样本中肺结节在图像中的位置是随机的，不能指定把结节放在图像的某个位置。对于预测数据的准备，将整个图像完全切分为尺寸为N×N×N的图像，切割时需要保留每个小尺寸图像在原始CT图像中的位置。

步骤S103：构建分类模型一，并进行训练和预测

模型一是一个二分类模型，采用效果比较好的ResNet网络，具体的结构如图2所示，输入图像的尺寸为N×N×N，输出是二值的。在训练时，把正样本标签记为1，负样本标签记为0.在测试时，把CT图像切割成的尺寸为N×N×N的图像输入到网络中进行预测，输出值是每个小尺寸图像包含肺结节的概率。

步骤S104：根据阈值筛选图像

由上个步骤，可以得到每个CT图像中各个N×N×N区域中包含肺结节的概率，概率小的区域，很有可能是不包含肺结节的，再下一步计算中，可以不用考虑这个区域。也就是，可以确定一个阈值Ω₁，概率大于该阈值的区域进行下一步处理，概率小于该阈值的下一步不予考虑。

步骤S105：准备分类模型二的数据，并进行训练和预测

基于上述几步，已经筛选出包含肺结节概率较高的区域，下面只需要对尺寸为N×N×N的区域进行处理，也就是需要把该区域切割成更小的区域进行分析。对于训练数据的准备，类似于步骤S102，把包含肺结节的尺寸为M×M×M的图像作为正样本，不包含肺结节的尺寸为M×M×M的图像作为负样本，为了数据处理的方便可以使得N是M的整数倍。对于预测数据的准备，把步骤S104筛选出包含肺结节概率大于阈值Ω₁的区域完全切割为尺寸为M×M×M的图像。

模型二仍选择图2所示的ResNet网络，输入图像的尺寸为M×M×M，输出是二值的。在训练时，把正样本标签记为1，负样本标签记为0.在测试时，对尺寸为M×M×M的图像进行预测，输出值是每个小尺寸图像包含肺结节的概率。

步骤S106：根据阈值进一步筛选图像

由上个步骤，可以得到每个CT图像中各个M×M×M区域中包含肺结节的概率，根据测试结果确定一个阈值Ω₂，概率大于该阈值的区域进行下一步处理。

由此可知，S106-S106步骤通过构建两个二分类ResNet模型，筛选出了整个CT图像中很有可能包含肺结节的小块区域，下面只需要分析步骤S106筛选出的尺寸为M×M×M的区域。

步骤S107：分割模型数据准备，并进行训练和预测

本步骤选择了Unet作为分割模型，具体如图3所示的结构，分割模型的目的是标记出区域内肺结节的mask，进而确定肺结节的具体位置。对于训练数据的准备，将包含肺结节的尺寸为M×M×M的图像作为训练数据，标签是该区域内肺结节的mask。对于测试数据，直接对步骤S106筛选出来的尺寸为M×M×M的图像进行预测，得到该区域内肺结节的mask，从而确定肺结节的位置。

可见，本发明主要包含两部分内容，第一部分是利用两个二分类模型筛选出整个CT图像中包含肺结节概率较大的区域，第二部分是利用Unet网络标记出区域内肺结节的具体位置。基于这两部分，就可以从CT图像中检测出肺结节了，图4展示了本发明所提出的一种基于深度学习的CT图像肺结节快速筛查方法的预测过程和结果，可以发现根据分类模型的预测结果可以快速过滤掉包含肺结节概率较小的区域，从而提高了肺结节的检出效率。

综上，本发明主要提出了以下几个关键点：

(1)先利用多个二分类模型筛选出图像中包含肺结节概率较大的区域，再利用分割网络标记肺结节。

(2)分割网络处理的图像尺寸比较小，可以精确标记肺结节，便于准确估计肺结节的大小和形状。

(3)通过分类网络可以快速过滤掉包含肺结节概率较小的区域，主要分析包含肺结节概率较大的区域，从而提高了肺结节的筛查效率，减少了假阳性结节。

以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明，不能认定本发明具体实施只局限于上述这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于深度学习的CT图像肺结节快速筛查方法，包括如下步骤：

（1）CT图像的预处理：根据窗宽和窗位对原始三维图像进行归一化；

（2）分类模型的构建：构建多个二分类网络，输入是三维图像，输出是包含肺结节的概率；

（3）分类网络的训练数据准备：训练数据包含结节的具体信息，将图像切割成小尺寸图像；

（4）分类网络的测试数据准备并预测：将切割后的图像输入至分类网络中进行预测，给定阈值，根据该阈值筛选图像，去除包含结节的概率小于该阈值的切割后的图像；

（5）分割模型的数据准备：训练数据包含肺结节的图像，尺寸与最后一个分类网络输入图像的尺寸一致，图像包含肺结节的mask作为标签；测试数据是最后一个网络中包含肺结节概率较大的图像；

（6）分割模型的构建：构建一个输入是三维图像，输出是肺结节的mask的分割模型；

所述步骤（3）中，根据结节的位置，切割出正样本数据和负样本数据；包含肺结节的小尺寸三维图像作为正样本，不包含肺结节的小尺寸三维图像作为负样本；每个分类网络的训练图像尺寸均不相同；

所述步骤（4）中，第一个分类网络的测试数据是将整个三维CT图像切割为小尺寸图像，直接利用分类网络进行预测，计算出小尺寸图像有肺结节的概率是否大于阈值Ω₁；后面的分类网络输入的图像，是对上一个网络测试结果中包含肺结节概率大于阈值Ω₁的图像进一步切割得到的更小尺寸图像，计算出更小尺寸图像有肺结节的概率是否大于阈值Ω₂。

2.如权利要求1所述的一种基于深度学习的CT图像肺结节快速筛查方法，其特征在于：所述分类模型采用ResNet、Vgg或Inception网络。

3.如权利要求1所述的一种基于深度学习的CT图像肺结节快速筛查方法，其特征在于：所述分割模型采用Unet、nnUnet或ResUnet网络。

Images