CN107578402A - 一种基于深度学习的肺部结节的检测系统及其使用方法 - Google Patents

Abstract

本发明涉及计算机辅助诊断领域，具体涉及一种基于深度学习的肺部结节的检测系统及其使用方法。一种基于深度学习的肺部结节的检测系统，包含用于检测肺部结节的识别模块,还包含采集样片数据的样本采集模块和用于计算的计算模块；所述计算模块包含卷积层、池化层、归一层和输出层；所述样本采样模块的采样数据用于所述计算模块进行训练，所述样本采样模块至少包含有结节数据的正样本采样模块和包含有非结节数据的负样本采样模块。本发明的目的是提供一种基于深度学习的肺部结节的检测系统及其使用方法，通过大量样本的深度学习，自动从未标注的CT数据中提取出结节数据，用于结节样本的生生，从而大幅度减轻医生的工作，且出错率低。

Description

一种基于深度学习的肺部结节的检测系统及其使用方法

技术领域

本发明涉及计算机辅助诊断领域，具体涉及一种基于深度学习的肺部结节的检测系统及其使用方法。

背景技术

中国每年癌症心法病例为312万例,每年因癌症死亡超过200万例,其中死亡最多的癌症是肺癌.肺癌是一种常见的肺部恶性肿瘤，绝大多数肺癌起源于支气管粘膜上皮。指的是肺部组织内细胞生长失去控制的疾病。这种细胞生长可能会造成转移，就是侵入相邻的组织和渗透到肺部以外。

与其他疾病相比,肺癌具有高死亡率的主要原因是当肺癌被检测到时，大多数已经处于中晚期，错过了治疗的最佳时机。肺癌的治愈率与诊断时的临床分期密切相关,早期的肺癌患者的5年生存率为90％以上,一期肺癌患者的生存率降为60％,而二到四期的肺癌患者的年生存率从40％降到5％.因此,肺癌的早期正确诊断显得尤其重要.

在肺癌的诊断领域,通常使用影像诊断技术,该技术主要使用X线筛查和CT筛查.其中,X线技术以其价廉、快速，诊断较准确的优点，作为肺癌最基本的诊断方法；但它难以发现隐蔽部位的肿块，对胸水中的肿块也难以显示。而薄层CT(thin-section CT),CT比X线胸片具有更高的空间分辨率及密度分辨率，且它的横断扫描避免了器官的重叠，它可发现肺内的细小病灶(3毫米)及隐匿病灶(心膈区、主动脉窗小病灶)，并可显示大量胸水中所隐藏的肿块。对于显示肺癌的肿块边缘、密度以及肿瘤对胸膜、血管的侵犯，CT明显优于胸片及体层片，而高分辨CT或多层螺旋CT能收集更多的诊断信息，对诊断肺癌更有价值。CT增强薄层扫描对小病灶肺癌及早期肺癌的诊断有重要价值，对于肺内孤立性小结节诊断，是发现早期周围性肺癌的重要依据。CT动态增强有助于鉴别肺结节的良、恶性。

基于上文所述,CT诊断已经成为主流的诊断方式,在诊断过程中,会产生大量的影像片,数量高达上百张.这些影像片往往需要医生进行人工分辨,工作量非常大,并且存在较大的出错率.而基于传统的图像数据筛选系统,检出率和查准率并不能达到医生期望的效果,对结节的识别准确率较低.

发明内容

本发明的目的是提供一种基于深度学习的肺部结节的检测系统及其使用方法，通过大量样本的深度学习，自动从未标注的CT数据中提取出结节数据，用于结节样本的生生，从而大幅度减轻医生的工作，且出错率低。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基于深度学习的肺部结节的检测系统，包含用于检测肺部结节的识别模块,还包含采集样片数据的样本采集模块和用于计算的计算模块；

所述计算模块包含卷积层、池化层、归一层和输出层；

所述样本采样模块的采样数据用于所述计算模块进行训练，所述样本采样模块至少包含有结节数据的正样本采样模块和包含有非结节数据的负样本采样模块；

所述识别模块包含用目标切片模块和阈值判断模块，所述目标切片模块用于将目标影像进行切片操作，切片后的影像进入被训练后的所述计算模块计算出为正样本的概率数据，所述阈值判断模块包含阈值数据，当计算出的正样本的概率数据大于等于所述阈值数据后，所述识别模块判断该影像为结节。

作为本发明的优选，所述样本采样模块的采样数据中至少包含采样影像的中心坐标数据和直径数据。

作为本发明的优选，所述样本采样模块发送给所述计算模块用于训练的数据还包含结节标签数据和神经元维度数据。

作为本发明的优选，所述卷积层和所述池化层都为多层。

作为本发明的优选，所述识别模块还包含参数调整模块，所述参数调整模块用于调整所述目标切片模块对图像进行切片操作后，相邻切片影像之间的重合度参数。

作为本发明的优选，所述识别模块包含初次识别模块和二度识别模块，所述二度识别模块用于在所述初次识别模块判定为结节的切片影像进行二次计算和判断，调整切片识别的精准度。

作为本发明的优选，所述二度识别模块包含扩展模块和概率排序模块，当所述阈值判断模块判断出为结节的切片影像后，所述扩展模块以改切片影像为中心放大指定范围且进行重新切片，得到扩展切片影像组并进入所述计算模块再次进行计算，所述概率排序模块将再次计算后的扩展切片影像组根据正样本的概率数据进行排序。

一种基于深度学习的肺部结节的检测系统的使用方法，包含如下步骤：

步骤1：包括构建深度学习系统，该系统首先包含计算模块，在该步骤中搭建出计算模块的卷积层、池化层、归一层和输出层；

步骤2：将已公开的数据或者人工标注的数据进行采集输入，采集数据包含有标注为结节的正样本数据和标注为非结节的负样本数据；

步骤3：将步骤2中的样本数据导入步骤1中搭建出来的计算模块，使计算模块使用样本数据来进行训练；

步骤4：将目标影像切为多个指定尺寸的影片切片；

步骤5：将步骤4中得到的影片切片导入步骤3中已经进行训练完毕的计算模块，计算模块计算出各个影片切片为结节的概率数据；

步骤6：预设概率数据的阈值，当该影片切片对应的概率数据大于等于该阈值后，则判断该影片切片为结节。

作为本发明的优选，在步骤6后，还包含二度识别步骤，在该步骤中，对已经判断为结节的影片切片进行二度识别，将该影片切片对应的位置进行指定范围的扩展，将扩展范围内的影片重新进行切片操作，得到新的切片组，随后导入计算模块进行二度计算，得到每个切片的概率数据，并以概率数据进行排序。

作为本发明的优选，在步骤2中，采样数据中至少包含采样影像的中心坐标数据和直径数据。

本技术方案具备以下优点：

1、本系统可通过标注的采样文件进行深度学习和训练。

2、通过本系统和方法对目标CT进行切片、概率计算、概率判断等操作，自动判断出正样本切片。

3、生成的样本可作为各种深度学习应用的数据来继续使用。

4、通过被判定为结节的切片进行二度识别，进行更细粒度的排查来标记出最终的结节切片，精准度高。

附图说明

图1是本发明的架构示意图；

图2是本发明中二度识别模块进行区域扩展的示意图。

具体实施方式

以下具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

实施例1，如本文的背景技术中所述，肺癌作为发病率高，治愈率低的疾病已经收到社会的广泛关注，而肺癌的治愈率与发现时期密切相关，这就使得肺癌的检测尤为重要。而在肺癌的检测中，使用CT来检测肺部所有可能的结节，是常规的一个检测和治疗手段。肺结节为小的局灶性、类圆形、影像表现密度增高的阴影，可单发或多发，不伴肺不张、肺门肿大和胸腔积液。孤立性肺结节无典型症状，常为单个、边界清楚、密度增高、直径≤3cm且周围被含气肺组织包绕的软组织影。肺部结节并不等同于癌症，分为良性和恶性，需要识别出这些结节并判定是否有害。

但是一组CT的影像片数量众多，一般都有几百张骗子，通过医生人眼来分辨，工作量非常大，且容易遗漏或搞错。而基于传统机器学习的方法，检出率和查准率并不能达到医生期望的效果。

在本技术方案中，使用了神经网络和深度学习来纳入CT检测领域。卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，普通神经网络里的一些计算技巧到这里依旧适用。Deep Learning是全部深度学习算法的总称，卷积神经网络是深度学习算法在图像处理领域的一个应用。

首先，需要完成系统的初步搭建，需要设置卷积层、池化层、归一层和输出层。

其中，卷积层和池化层都可以设置为多层，能够识别出更高层次的特征，对结节的识别准确率也能大幅度的提升。卷积层(Convolutional layer)，卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

池化层(Pooling layer)，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征，pooling的作用与subsampling一样，均是二次取样。

归一层，即为LRN层，它是一个特殊的计算层，做的事是对当前层的输出结果做平滑处理。全称为Local Response Normalization，即局部响应归一化，简称LRN，实际就是利用临近的数据做归一化。

还需要设置搭建全连接层，全连接层(Fully-Connected layer),把所有局部特征结合变成全局特征，用来计算最后每一类的得分。在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现。

此外，还需要输出层，在本实施例中，为softmax输出类。softmax是拟合离散值中最大值的可微分方法，进行二分类，即判别是否为结节。

这次，步骤一，系统搭建步骤搭建完成，如图1所示，计算模块初步搭建完成。

随后，进入步骤二，即样本采集步骤。

在该步骤中，需要采用大量有标注的数据使得搭建好的计算模块进行训练和深度学习。这些训练数据可用已经公开的数据集或者人工标注的数据。例如，直接在CT成片上标注。用户实现在CT成片上的结节标注信息。对于一个结节，需要标出其在CT成片上的中心点的坐标数据和直径数据。在这个过程中，会使用到如图1所示的样本采样模块，样本采样模块也会分为正样本采样模块和负样本采样模块。对于正样本采样模块采到的正样本数据，即为肺部结节数据和肺部非结节数据。样本数据包含有标签数据和神经元维度数据。神经元维度数据是已围绕中心店进行裁剪得到长方体小切片，包含了深度高度宽度数据，(depth*height*width)，此外，标签数据上标注注明了是否是结节。如是结节，可标注label＝1,若非结节，则可标注label＝0。

所有的数据都通过样本采样模块采集，随后将这些样本数据打乱顺序后发送到已经搭建好的计算模块，作为输入，使得计算模块进行深度学习和训练，等网络收敛后保存网络模型用于后续的识别。至此，用户使用了样本采样模块和计算模块完成了步骤二样本采集步骤和步骤三训练步骤。

在采用了足够多，覆盖范围足够广泛的数据使得计算模块得到了充分的深度学习和训练后，就可以进入到识别阶段了。

具体的，首先进入步骤四，目标影像切片步骤；由于CT文件的像素和尺寸都较大，在正式进行识别之前，需要进行图像预处理。在本案中，CT影像文件需要先进行切割，将一个完整的CT影像切割成多个切片，切片数据同样包含depth,height,width。需要说明的是，在本实施例中，相邻切片之间存在一定程度的重合，可通过参数设置。

识别模块可包含参数调整模块，数调整模块用于调整所述目标切片模块对图像进行切片操作后，相邻切片影像之间的重合度参数，如要求重合部分占切片总体积的X％.

切片操作之后，得到了一组数量众多的待识别影像切片，随后进入步骤五，影片切片概率计算步骤，在该步骤中，所有的待识别影像切片都被放入了训练好的模型，即训练好的计算模块当中，进行计算，计算出概率数据。概率数据至少包含正样本概率数据和负样本概率数据。例如，计算完毕之后，某个待识别影像切片的概率数据为(0.3,0.7)。这就表示，对于该待识别影像切片，经过计算，确认为负样本，即不是结节的概率为30％，确认为正样本，即是结节的概率为70％。

此时，会设置一个判断的阈值。如图1所示，识别模块中包含有阈值判断模块。这里就进入了步骤六，即结节判断步骤。用户依靠阈值判断模块将待识别影像切片的概率数据和概率阈值进行对比。例如，概率阈值为T，T＝0.5，是正样本即是结节的概率为70％，0.7，大于T，则认为是结节，反之，若是正样本的概率低于T，则认为不是结节。

而阈值判断模块中的概率阈值的具体数值，是支持用户自定义设置的，且判断标准和方法也可以预设。如，T可以设置为0.4,0.45,0.5或者0.55等。且可进行范围和方法的设置，例如将“高度疑似切片”单独存储并拉出，如正样本概率在0.45—0.50的切片都做额外存储，从而进行再度识别或者人工待定识别提醒，均可以通过用户的设置来实现不同的功能。

此外，结果数据的输出不仅仅是输出，在本案中，本系统可以从未标注的CT影像片中自动提取结节，用于结节样本的生成，而生成的样本可作为各种深度学习应用的数据来继续使用，作为系统训练、升级、优化的素材。

作为优选，本实施例还可以具备更精准的识别功能。

如图1所示，识别模块中包含了初次识别模块和二度识别模块。初次识别模块的工作原理如上文所述，使用目标切片模块将目标CT影像进行指定尺寸的切割，使用参数调整模块来进行相邻切片的重叠度参数设置，随后将切割好的切片经过计算模块计算出概率数据，并通过阈值判断模块进行指定规则的判断，从而判断出是结节的切片。

至此，已经完成了本系统的基本功能，该系统可通过不断的训练和深度学习，来自动从大量的影像文件中自动找到结节切片，即找到了结节的位置。

但是，还存在一定的缺陷，即查询的精准度的问题。

在实际操作中，依靠目标切片模块切割而得的切片尺寸往往是大于结节的尺寸，通过上文中的技术方案进行操作，系统从A0、A1、A2、。。。。。。。A98中判断出A45切片的概率数值为(0.4,0.6)，即是结节的概率达到60％，高于预设的0.5，则A45号切片则被认定为是包含结节的切片。

但是至此，只是挑出了包含有结节的切片，并没有更进一步的调出结节所在的位置，而切片尺寸往往是大于结节的，此时，就需要调出更精确的排除和整理，来识别出最终的结节。

如图1所示，二度识别模块包含有扩展模块和概率排序模块。如图2所示，已经通过初次识别模块识别出填充为1的部分为结节，此时的目的是在切片周围划定一个更大的区域进行更细粒度的排除。

第一步是范围的扩展，将识别出结节的为中心，往周边辐射扩展一定的范围得到一个较大的范围。如图2中以1为中心，向2的方向扩展，得到一个填充有1和2的大区域。

第二步是重新进行切片，与上文中提到的切片相比，此时的切片需要切得更密。即相邻的切片的重叠比例更高，如上文提到的X，相邻切片影像之间的重合度参数，要求重合部分占切片总体积的X％.初次识别模块进行切片处理的时候，X为30％，这里为60％。或者在某些实施例中，直接在每个维度上每次只移动一个像素，得到一组新的切片组。这组切片组重合度更高，切得更密，相似度也更高。

第三步是重新计算，这组新的切片组再次被导入计算模块，计算求得每一个切片对应的概率数据。随后，二度识别模块中包含有如图1所示的概率排序模块，按照判定为正样片即结节的概率数据进行有序排列，找到被识别为正样片的概率最大的切片，并标记为识别出的最终的结节。

经过上述的处理后，每个CT影像片都会识别得到一组结节，医生可通过给出的位置信息在原始CT中观察，并最终判定是否为结节，并根据结节类型进行进一步的处理。

后续，还可以深化本技术方案的应用。

例如，在对结节进行良性恶性的标定领域，可通过该系统和方法来深度学习识别良性和恶性的特征，那么后续就可以使得识别模块在识别出结节切片之后再给出良性或恶性的判定，通过输出良性恶性的概率数据来实现，进一步降低医生的工作。

Claims (10)

1.一种基于深度学习的肺部结节的检测系统，包含用于检测肺部结节的识别模块,其特征在于：还包含采集样片数据的样本采集模块和用于计算的计算模块；

所述计算模块包含卷积层、池化层、归一层和输出层；

所述样本采样模块的采样数据用于所述计算模块进行训练，所述样本采样模块至少包含有结节数据的正样本采样模块和包含有非结节数据的负样本采样模块；

所述识别模块包含用目标切片模块和阈值判断模块，所述目标切片模块用于将目标影像进行切片操作，切片后的影像进入被训练后的所述计算模块计算出为正样本的概率数据，所述阈值判断模块包含阈值数据，当计算出的正样本的概率数据大于等于所述阈值数据后，所述识别模块判断该影像为结节。

2.根据权利要求1所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述样本采样模块的采样数据中至少包含采样影像的中心坐标数据和直径数据。

3.根据权利要求2所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述样本采样模块发送给所述计算模块用于训练的数据还包含结节标签数据和神经元维度数据。

4.根据权利要求1所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述卷积层和所述池化层都为多层。

5.根据权利要求1或2或3或4所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述识别模块还包含参数调整模块，所述参数调整模块用于调整所述目标切片模块对图像进行切片操作后，相邻切片影像之间的重合度参数。

6.根据权利要求5所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述识别模块包含初次识别模块和二度识别模块，所述二度识别模块用于在所述初次识别模块判定为结节的切片影像进行二次计算和判断，调整切片识别的精准度。

7.根据权利要求6所述的一种基于深度学习的肺部结节的检测系统，其特征在于：所述二度识别模块包含扩展模块和概率排序模块，当所述阈值判断模块判断出为结节的切片影像后，所述扩展模块以改切片影像为中心放大指定范围且进行重新切片，得到扩展切片影像组并进入所述计算模块再次进行计算，所述概率排序模块将再次计算后的扩展切片影像组根据正样本的概率数据进行排序。

8.一种基于深度学习的肺部结节的检测系统的使用方法，其特征在于，包含如下步骤：

步骤1：包括构建深度学习系统，该系统首先包含计算模块，在该步骤中搭建出计算模块的卷积层、池化层、归一层和输出层；

步骤2：将已公开的数据或者人工标注的数据进行采集输入，采集数据包含有标注为结节的正样本数据和标注为非结节的负样本数据；

步骤3：将步骤2中的样本数据导入步骤1中搭建出来的计算模块，使计算模块使用样本数据来进行训练；

步骤4：将目标影像切为多个指定尺寸的影片切片；

步骤5：将步骤4中得到的影片切片导入步骤3中已经进行训练完毕的计算模块，计算模块计算出各个影片切片为结节的概率数据；

步骤6：预设概率数据的阈值，当该影片切片对应的概率数据大于等于该阈值后，则判断该影片切片为结节。

9.根据权利要求8所述的一种基于深度学习的肺部结节的检测系统的使用方法，其特征在于：在步骤6后，还包含二度识别步骤，在该步骤中，对已经判断为结节的影片切片进行二度识别，将该影片切片对应的位置进行指定范围的扩展，将扩展范围内的影片重新进行切片操作，得到新的切片组，随后导入计算模块进行二度计算，得到每个切片的概率数据，并以概率数据进行排序。

10.根据权利要求8所述的一种基于深度学习的肺部结节的检测系统的使用方法，其特征在于：在步骤2中，采样数据中至少包含采样影像的中心坐标数据和直径数据。