CN110310281B - 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 - Google Patents

Abstract

本发明涉及一种基于Mask‑RCNN深度学习的虚拟医疗中肺结节检测与分割方法，属于图像处理领域。该方法具体包括：S1建立训练样本：首先对三维肺部CT图像样本进行预处理，然后将肺结节的横截面、矢状面和冠状面合成一张三通道图片，获得训练样本集，最后采用数据增强的方法扩展样本集；S2建立肺结节分割网络；包括建立骨干网络、特征金字塔网络、区域生成网络、ROI生成与对齐网络，以及三个功能分支；S3训练肺结节分割网络：利用训练样本对肺结节分割网络进行训练，获得肺结节分割装置；S4虚拟医疗环境中重建肺结节和肺部三维图，实现肺结节的检测。本发明能够在不花费更多资源的情况下提高模型的准确率，实现实时交互。

Description

一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分 割方法

技术领域

本发明属于图像处理领域，涉及医学图像分析、计算机视觉领域，具体涉及一种基于Mask-RCNN深度学习虚拟医疗中的肺结节检测与分割方法。

背景技术

肺癌是各种癌症中死亡率最高的癌症，其中男性患肺癌的死亡率是13％、女性是19.5％。大约70％的病人都是在肺癌晚期才诊断出来，而这种情况下的5年存活率仅仅在大约16％左右。然而，如果能诊断出早期肺癌，那么五年的存活率能够达到70％。有研究表明，75％的肺癌在早期影像中已经表现出来，肺结节便是肺癌的早期形式，这也使得肺结节的检测非常重要。同时，CT图像具有高分辨率和高解剖结构对比度的特点，适用于肺部疾病的分析和诊断。

传统的医学图像肺结节检测算法包括以下流程：医学图像数据预处理、肺实质区域分割、提取候选区域、特征提取和肺结节目标的分类识别等。在传统的医学图像肺结节检测方法中，特征提取是对肺结节的形态学特征、纹理特征、局部特征等方面的病理特征和图像信息进行人工提取特征，但这些特定的特征存在着局限性，采用人工提取特征的方法流程繁琐，效率低。

深度学习具有多层深度结构，能自动学习样本的特征，建立端到端的模型，使用深度学习方法检测肺结节可以减少人工设计特征以及降低检测流程的复杂度，现有采用深度学习算法检测肺部图中肺结节的方法很多，主要受到下面原因的限制：

(1)总体来说肺结节尺寸小，在整张图占比也小，对模型的小物体检测能力要求高。

(2)深度学习需要大量样本的支持，而优质的肺结节图像标注数据较为缺乏。

(3)样本的识别难易程度不一样，为了使模型聚焦在难识别样本的学习，模型里应该做出处理。

计算机断层扫描(CT)、超声(US)、核磁共振(MRI)等医学影像技术是医学诊疗的主要辅助手段。然而它们只能得到二维断层图像，其所展示的仅为单个层面的病理信息，医务人员只能根据以往的经验来估计感兴趣区域的大小、形状，很难有直观的认识，三维可视化技术的使用，能够使CT、MRI等设备产生的二维序列，经一系列重构运算被绘制成为三维医学模型并表达于视窗之中，可以更加清晰直观地了解人体器官或组织的复杂空间特征和相互定位关系。此外，医学图像三维重建在医学三维放射治疗、人体仿真、虚拟手术、虚拟内窥镜、机器人手术、实时手术导航等方面都有重要应用。根据绘制原理的不同，可以将三维重建的方法分为两类，即面绘制和体绘制，两者在绘制效果、时间开销和交互性能等方面存在较大的差异。面绘制能够快速绘制三维实体的表面，但是缺乏内部信息，而这些缺失的内部信息可能是病情诊断需要的关键信息；体绘制直接对体数据中的体素进行处理，可以绘制出包含丰富信息的三维实体，既有三维表面又有内部结构，因而具有更高的临床应用价值。

因此，亟需一种能够清楚检测与分割肺结节的三维医学图像重建的方法来提高检测准确率。

发明内容

有鉴于此，本发明的目的在于提供一种深度学习检测与分割方法，基于Mask-RCNN利用特征金字塔网络融合大小尺度的特征图，保证了对不同大小肺结节的检测，采用修改的Focal Loss进行难例挖掘，同时使用横截面图、矢状面图和冠状面图三个维度的信息，在不花费更多资源的情况下提高了模型的准确率。

为达到上述目的，本发明提供如下技术方案：

一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，具体包括以下步骤：

S1：建立训练样本：首先对三维肺部CT图像样本进行重采样、肺窗截断等预处理，然后将肺结节的横截面、矢状面和冠状面合成一张三通道图片，获得训练样本集，最后采用数据增强的方法扩展样本集；

S2：建立肺结节分割网络；包括建立骨干网络、特征金字塔网络、区域生成网络、ROI生成与对齐网络，以及三个功能分支；

S3：训练肺结节分割网络：利用训练样本对肺结节分割网络进行训练，获得肺结节分割装置；

S4：虚拟医疗环境中重建肺结节和肺部三维图，实现肺结节的检测。

进一步，所述步骤S1具体包括以下步骤：

S11：将三维肺部CT图像重采样到相同的层厚和间距，然后将CT像素值进行截断，归一化，超过区间的值用线性插值法保留；

S12：结合肺结节坐标和轮廓信息，分别获得肺结节的横截面图、矢状图和冠状图，将三个图作为三个通道，合成一张图片，得到训练样本。

进一步，所述步骤S2具体包括以下步骤：

S21：鉴于肺结节样本数有限，采用迁移学习的方法，在骨干网络(backbone)和预训练参数基础上微调参数，骨干网络自底向上获取图片的不同尺度特征；自底向上分为卷积块Ⅰ、卷积块Ⅱ、卷积块Ⅲ、卷积块Ⅳ、卷积块Ⅴ，输出特征图依次变为输入的一半；

S22：特征网络金字塔层(feature pyramid network,FPN)，自上向下分别为特征金字塔层Ⅴ、特征金字塔层Ⅳ、特征金字塔层Ⅲ、特征金字塔层Ⅱ、特征金字塔层Ⅰ，融合五个尺度上的特征；

S23：每个特征金字塔对应一个区域生成网络(risk priority number,RPN)，自上向下分别为区域生成网络层Ⅴ、区域生成网络层Ⅳ、区域生成网络层Ⅲ、区域生成网络层Ⅱ、区域生成网络层Ⅰ，获得五个尺度下的提议检测框(proposals)；

S24：在区域生成网络之后接ROI生成和对齐网络，获得调整后的区域；

S25：之后再接三个功能分支，分别获得掩膜，检测框和识别概率。

进一步，所述步骤S2中，所述三个功能分支分别为分割，检测和识别。

进一步，所述步骤S23中，所述RPN网络采用的损失函数为修改的Focal Loss，定义为：

L(P_t)＝-(1-P_t)^γlog(P_t)

其中，

γ是一个超参数，y∈{0,1}是真实标签，p是预测的概率。

进一步，所述步骤S3具体包括以下步骤：

S31：将所有处理后的样本随机分作8:2的比例，分别作为训练样本和验证样本，输入到肺结节分割网络中训练，随后采用交叉验证的方法，获得多次训练结果；

S32：训练分为两步，先训练区域生成网络，再训练整个区域生成网络和功能分支。

本发明的有益效果在于：

(1)针对医学图像样本少的特点，本发明除了进行数据增强，还采用了迁移学习的方法，利用骨干网络的预训练参数，然后输入医学图像样本进行参数精调，有效解决了由于样本数少带来的过拟合等问题。

(2)针对肺结节尺寸小，且尺寸从几毫米到几十毫米都有分布的特点，本发明采用特征金字塔网络，对尺寸不同的五个特征图上采样融合，再分别接区域生成网络，不仅提高了对小样本的识别能力而且兼顾了各个尺寸的识别。

(3)针对样本识别难易程度不一样的问题，本发用的RPN网络采用的损失函数为修改的Focal Loss，是在交叉熵损失函数的基础上改进的损失函数，调制项(1-P_t)^γ可以使得易分样本的损失变小，难分样本的损失变大，从而使模型集中于对难分样本的学习。

(4)功能分支中有获得分割掩膜的分支，可以对肺结节边缘进行分割，利于后续测量体积，肺结节三维重建等工作。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为基于Mask-RCNN深度学习的肺结节检测分割和三维重建系统流程图；

图2为肺结节检测分割网络结构图；

图3为肺结节检测、分割网络建立方法的流程图；

图4为肺部CT的横截面、矢状面、冠状面和三维视图；

图5为肺结节检测和分割网络的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，为一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，本实施例具体包括以下步骤：

S1：建立训练样本，具体包括以下步骤：

S11：鉴于训练样本可能来自不同的设备，不同的医院，CT图采集规格不同，需要先将三维肺部图像重采样到相同的间距(X,Y)毫米和层厚Z毫米如：(X,Y,Z)＝(0.5,0.5,1)，采样方式选用双线性插值法，利用相邻四个像素点的像素值，得到对应重采样后的像素值。

S12：将CT像素值进行截断，采用肺窗-1000HU～400HU，然后归一化到0-1范围，超过区间的值用线性插值法保留。

S13：结合肺结节坐标和轮廓信息，分别获得肺结节的横截面图、矢状图和冠状图，如图4，将三个图作为三个通道，合成一张图片，得到训练样本。

S14：对训练样本进行数据增强：进行平移、旋转、翻转、缩放、添加噪声、裁剪等操作。

S2：建立肺结节检测分割网络，具体包括以下步骤：

S21：鉴于肺结节样本数有限，采用迁移学习的方法，在骨干网络(backbone)和预训练参数基础上微调参数，骨干网络自底向上获取图片的不同尺度特征。经过比较，在本专利情景下，发现ResNet-50比VGG-19有明显效果提升，与ResNet-101相比效果相当，综合网络复杂度和效果，采用ResNet-50作为骨干网络。如图5肺结节检测、分割网络的结构示意图，骨干网络部分自底向上分为卷积块Ⅰ、卷积块Ⅱ、卷积块Ⅲ、卷积块Ⅳ、卷积块Ⅴ，输出特征图依次变为输入的一半。

S22：特征网络金字塔层(FPN)，自上向下分别为特征金字塔层Ⅴ、特征金字塔层Ⅳ、特征金字塔层Ⅲ、特征金字塔层Ⅱ、特征金字塔层Ⅰ，融合五个尺度上的特征，当前特征图跟上一个特征图的2倍上采样融合(上采样利用双线性插值法)，得到当前特征金字塔层，如：卷积块-4的特征图跟特征金字塔层Ⅴ特征图的2倍上采样，融合成特征金字塔层Ⅳ。

S23：每个特征金字塔对应一个区域生成网络(RPN)，自上向下分别为区域生成网络层Ⅴ、区域生成网络层Ⅳ、区域生成网络层Ⅲ、区域生成网络层Ⅱ、区域生成网络层Ⅰ，获得五个尺度下的提议检测框(proposals)。RPN网络采用的损失函数为修改的Focal Loss，定义为L(P_t)＝-(1-P_t)^γlog(P_t)，其中

y∈{0,1}是真实标签，p是预测的概率。这是在交叉熵损失函数的基础上改进的损失函数，调制项(1-P_t)^γ可以使得易分样本的损失变小，难分样本的损失变大，从而使模型集中于对难分样本的学习。γ是一个超参数，本实施例γ＝2。

S24：在区域生成网络之后接ROI生成和对齐网络，获得调整后的区域。

S25：之后再接三个功能分支，分别获得掩膜，检测框和识别概率。

S3：训练肺结节检测分割网络，具体包括以下步骤：

S31：将所有处理后的样本随机分作8:2的比例，分别作为训练样本和验证样本，输入到网络中训练，随后采用交叉验证的方法，获得多次训练结果。

S32：训练分为两步，先训练区域生成网络，再训练整个区域生成网络和功能分支。

S4：虚拟医疗环境三维重建，具体包括以下步骤：

S41：得到分割掩膜后，与原CT序列对应相乘，得到肺结节序列。

S42：将肺结节CT序列、原肺部CT序列放到VTK的体绘制管线的输入端得到肺结节和肺部的三维重建图。

S43：在QT软件里利用QVTKWidget接口获取VTK的三维重建图，并编写实时交互界面，包括缩放、旋转、标注等，同时加上体绘制参数输入接口，如不透明度，阈值等，以便调节不同的三维重建效果；在QT软件里显示基本信息，如预测为肺结节的概率、肺结节所在的CT切片等。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，其特征在于，该方法具体包括以下步骤：

S1：建立训练样本：首先对三维肺部CT图像样本进行预处理，然后将肺结节的横截面、矢状面和冠状面合成一张三通道图片，获得训练样本集，最后采用数据增强的方法扩展样本集；

S2：建立肺结节分割网络；包括建立骨干网络、特征金字塔网络、区域生成网络、ROI生成与对齐网络，以及三个功能分支，所述三个功能分支分别为分割，检测和识别；具体包括以下步骤：

S21：采用迁移学习的方法，在骨干网络和预训练参数基础上微调参数，骨干网络自底向上获取图片的不同尺度特征；自底向上分为卷积块Ⅰ、卷积块Ⅱ、卷积块Ⅲ、卷积块Ⅳ、卷积块Ⅴ，输出特征图依次变为输入的一半；

S22：特征网络金字塔层FPN，自上向下分别为特征金字塔层Ⅴ、特征金字塔层Ⅳ、特征金字塔层Ⅲ、特征金字塔层Ⅱ、特征金字塔层Ⅰ，融合五个尺度上的特征；

S23：每个特征金字塔对应一个区域生成网络RPN，自上向下分别为区域生成网络层Ⅴ、区域生成网络层Ⅳ、区域生成网络层Ⅲ、区域生成网络层Ⅱ、区域生成网络层Ⅰ，获得五个尺度下的提议检测框；

S24：在区域生成网络之后接ROI生成和对齐网络，获得调整后的区域；

S25：之后再接三个功能分支，分别获得掩膜，检测框和识别概率；S3：训练肺结节分割网络：利用训练样本对肺结节分割网络进行训练，获得肺结节分割装置；

S4：虚拟医疗环境中重建肺结节和肺部三维图，实现肺结节的检测。

2.根据权利要求1所述的基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：将三维肺部CT图像重采样到相同的层厚和间距，然后将CT像素值进行截断，归一化，超过区间的值用线性插值法保留；

S12：结合肺结节坐标和轮廓信息，分别获得肺结节的横截面图、矢状图和冠状图，将三个图作为三个通道，合成一张图片，得到训练样本。

3.根据权利要求1所述的基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，其特征在于，所述步骤S23中，RPN网络采用的损失函数为修改的Focal Loss，定义为：

L(P_t)＝-(1-P_t)^γlog(P_t)

其中，

γ是一个超参数，y∈{0,1}是真实标签，p是预测的概率。

4.根据权利要求1所述的基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：将所有处理后的样本随机分作8:2的比例，分别作为训练样本和验证样本，输入到肺结节分割网络中训练，随后采用交叉验证的方法，获得多次训练结果；

S32：训练分为两步，先训练区域生成网络，再训练整个区域生成网络和功能分支。

Images