CN109949297B - 基于Reception和Faster R-CNN的肺结节检测方法 - Google Patents

Abstract

本发明涉及一种基于Reception和Faster R‑CNN的肺结节检测方法，包括：1)采集肺结节图像；2)对输入图像提取特征；3)使用区域建议网络RPN对锚框进行分类和回归；4)将目标建议送入ROI池，并且与RPN网络共享卷积得到的特征；5)生成肺结节检验框最终精确的位置。结果表明，该方法可以提高实现肺结节的检测的精确度，相比于目前的技术，本发明提高了肺结节检测的准确率，成功解决了依赖经验提取特征主观性较强的问题，保证了得到的结果更加客观准确，适合应用到医学诊断中。

Description

基于Reception和Faster R-CNN的肺结节检测方法

技术领域

本发明涉及一种基于Reception和Faster R-CNN的肺结节检测方法，在检测效率、鲁棒性以及准确性方面优于现有技术，提高了分割性能，属于医学图像处理、深度学习领域。

背景技术

在肺部CT计算机辅助诊断领域，肺结节检测一直是国内外学者研究的重点方向。目前，所有肺部疾病患者的CT图像都是由医生进行审阅，但是不同的医生由于自身的经验以及主观性，会得出不同的阅片结果，导致了漏诊与误诊情况的发生。计算机辅助诊断技术能够帮助医生减少阅片工作，并且客观性较强，提高了检测的准确性。在深度学习提取特征的网络中，最新提出并且效果最好的两种网络为残差网络ResNet和Inception结构，两种网络设计的出发点不同，但是都取得了比较优秀的结果。鉴于此，本章首先结合残差网络和Inception模块，提出一个新的Reception网络用来提取特征，将提取出的特征与Faster R-CNN网络连接，以检测肺结节并进行了实验。

发明内容

本发明提出了一种基于Reception和Faster R-CNN的肺结节检测方法，使用结合残差网络和Inception模块，提出一个新的Reception网络的方法来提取特征，将提取出的特征与Faster R-CNN网络连接，形成肺结节检测网络。

本发明的技术方案，包括下列步骤：

步骤1：采集肺结节图像；

步骤2：对输入图像提取特征；

步骤3：使用区域建议网络(RPN)对锚框进行分类和回归；

步骤4：将目标建议送入ROI池，并且与RPN网络共享卷积得到的特征；

步骤5：生成检验框最终精确的位置。

与现有技术相比，本发明的有益效果是：

本发明的肺结节检测网络是在Faster R-CNN的基础上，将特征提取部分由VGG网络变为本文提出的Reception网络，Reception网络结构能够加深网络，同时也增加了网络宽度。改进的网络明显提高了网络模型训练时的准确率。经过分析，认为原因：1、分析网络结构的复杂程度可知，改进后的网络变宽变深，因此，随着迭代次数的增加，改进后网络的Loss值相比较于原始网络变得更小。2、根据1中分析可知，网络结构越复杂，其描述特征的能力也越强，即网络的性能越好。因此，在整个训练过程中，改进后网络的Accuracy上升得最快，同时最终的结果也高于原始网络。综上所述，该算法可以在临床应用中实时运行。

附图说明

图1为本发明的基于Reception和Faster R-CNN的肺结节检测方法流程图。

图2为本发明的数据样本和检测结果。

图3为本发明的图像特征提取示意图。

图4为本发明的网络结构示意图。

图5为Reception-A结构。

图6为Reception-B结构。

图7为Reception-C结构。

具体实施方式

现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

本发明的流程图如图1所示，首先采集肺结节图像，然后将采集到的图像制作成训练集输入到网络中对肺结节图像进行基础特征提取，并使用区域建议网络RPN对网络产生的锚框进行分类和回归；将目标建议送入ROI池，并且与RPN网络共享卷积得到的特征，最后网络输出图像中肺结节检验框最终精确的位置。下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.采集肺结节图像

如图1所示，本发明使用的测试集共含有332个肺结节，其中直径大于等于20mm的肺结节8个，直径在10mm到20mm之间的肺结节有64个，直径在5mm到10mm之间的结节有173个，直径在3mm到5mm之间的肺结节有87个。数据样本及本发明提到方法的测试结果如图2所示。

2.提取图像特征信息

如图3所示，本发明网络结构中使用的网络以VGG-16作为基础网络，并且进行了调整。原始的Faster R-CNN网络使用的是VGG-16网络通过卷积的方式提取特征，新的网络由于引入了ResNet的残差结构，从而网络可以变得更深，所以，1)将原VGG-16网络中卷积层{3₁，3₂，3₃}替换成含有Reception-A结构的卷积层{3₁，3₂，3₃，3₄，3₅}，Reception-A结构即最左侧两个分支为ResNet中的残差结构，使用1×1+3×3+1×1组合的卷积层，将原始Inception模块中两个3×3卷积层进行替换，如图5所示；2)将原VGG-16网络中卷积层{4₁，4₂，4₃}替换成含有Reception-B结构的卷积层{4₁，4₂，4₃，4₄，4₅}，Reception-B结构相比较于模块Reception-A，模块中在左侧分支采用了1×7和7×1两个非对称卷积核代替了一个7×7卷积核，达到7×7卷积核提取特征效果的同时减少了网络参数，此外，中间的分支只保留大小为1×1的卷积核，对不同通道的特征进行交叉融合，如图6所示；3)将原VGG-16网络中卷积层{5₁，5₂，5₃}替换成含有Reception-C结构的卷积层{5₁，5₂，5₃，5₄，5₅}，此模块相比较于前两个模块增加了一个分支，更加复杂。最左侧两个分支仍然是残差结构，并且将卷积核尺寸变成了1×3和3×1。中间的分支在1×1的卷积核后，将一个3×3的卷积分成1×3和3×1两个部分，目的是通过并联非对称卷积增强图像局部特征提取，能够获得更加丰富的特征，如图7所示；网络加深之后除三个全连接层外，卷积层共有19层。

3.使用区域建议网络RPN对锚框进行分类和回归

如图4所示，区域建议网络RPN在提取到的特征图基础上进行卷积操作，负责生成锚框并对锚框进行分类和回归，该层主要用于生成目标建议。通过Softmax判断锚框为前景或是背景，再利用边框回归修正锚框获得精确的建议。

4.将目标建议送入ROI池，并且与RPN网络共享卷积得到的特征

如图4所示，ROI池收集输入的特征和建议，综合这些信息进行池化操作，提取建议特征，送入后续全连接层得到ROI特征向量，进行目标类别的判定。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (2)

1.一种基于Reception和Faster R-CNN的肺结节检测方法，包括下列步骤：

步骤1：采集肺结节图像；

步骤2：对输入图像提取特征；其中，所述步骤2进一步包括：使用VGG-16作为基础网络，并且进行了调整，原始的Faster R-CNN网络使用VGG-16网络通过卷积的方式提取特征，新的网络由于引入了ResNet的残差结构，从而网络可以变得更深，所以：1)将原VGG-16网络中卷积层{3₁，3₂，3₃}替换成含有Reception-A结构的卷积层{3₁，3₂，3₃，3₄,3₅}，Reception-A结构即最左两个分支为ResNet中的残差结构，使1×1+3×3+1×1组合的卷积层，将原始Inception模块中两个3×3卷积层进行替换；2)将原VGG-16网络中卷积层{4₁，4₂，4₃}替换成含有Reception-B结构的卷积层{4₁，4₂，4₃，4₄,4₅}，Reception-B结构相比较于模块Reception-A，模块中在左侧分支采用了1×7和7×1两个非对称卷积核代替了一个7×7卷积核，达到7×7卷积核提取特征效果的同时减少了网络参数，此外，中间的分支只保留1×1的卷积核，对于不同通道的特征进行交叉融合；3)原将VGG-16网络中卷积{5₁，5₂，5₃}替换成含有Reception-C结构的卷积层{5₁，5₂，5₃，5₄,5₅}，此模块相比较于前两个模块增加了一个分支；最左侧两个分支仍然是残差结构，并且将卷积核尺寸变成了了1×3和3×1，中间的分支在1×1卷积核后，将一个3×3的卷积分成1×3和3×1两个部分，目的是通过并联非对称卷积增强图像局部特征提取，能够获得更加丰富的特征；网络加深之后除三个全连接层之外，卷积层共有19层；

步骤3：使用区域建议网络RPN对锚框进行分类和回归；

步骤4：将目标建议送入ROI池，并且与RPN网络共享卷积得到的特征；

步骤5：生成检验框最终精确的位置。

2.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括，ROI池收集输入的特征和建议，综合这些信息进行池化操作，提取建议特征，送入后续全连接层得到ROI特征向量，进行目标类别的判定。

Images