CN111754472A - 一种肺结节检测方法与检测系统 - Google Patents

一种肺结节检测方法与检测系统 Download PDF

Info

Publication number
CN111754472A
CN111754472A CN202010543357.XA CN202010543357A CN111754472A CN 111754472 A CN111754472 A CN 111754472A CN 202010543357 A CN202010543357 A CN 202010543357A CN 111754472 A CN111754472 A CN 111754472A
Authority
CN
China
Prior art keywords
lung
image
nodule
model
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010543357.XA
Other languages
English (en)
Inventor
吴正德
刘倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Guanwei Health Technology Co ltd
Original Assignee
Nanjing Guanwei Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Guanwei Health Technology Co ltd filed Critical Nanjing Guanwei Health Technology Co ltd
Priority to CN202010543357.XA priority Critical patent/CN111754472A/zh
Publication of CN111754472A publication Critical patent/CN111754472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种肺结节检测方法，包括以下步骤：获取原始数据集，并对原始数据集进行预处理；采用Residual Block和损失函数构建神经网络分割模型；采用Faster RCNN算法构建肺结节检测模型；利用预处理后的原始数据集对神经网络分割模型和肺结节检测模型进行训练和测试；输入待检测图像至训练和测试后的神经网络分割模型和肺结节检测模型；利用神经网络分割模型对待检测图像进行肺实质分割，得到肺实质分割图像；利用肺结节检测模型对肺实质分割图像进行结节检测，输出肺结节候选区域；消除肺结节候选区域的非结节区域，得到肺结节检测结果。本发明基于神经网络分割模型和肺结节检测模型分别进行肺实质分割和肺结节检测，大大提高了检测精度和效率。

Description

一种肺结节检测方法与检测系统
技术领域
本发明涉及医学图像处理技术领域，更具体的说是涉及一种肺结节检测方法与检测系统。
背景技术
癌症已经成为21世纪威胁人类身体健康的第一大杀手，由于早期肺癌患者的症状并不明显，不易被察觉。当患者因胸痛、咳嗽甚至咳血等临床症状而就诊时，肺癌往往己经发展成晚期，此时患者已经错过了治疗的最佳时期，死亡率相较于肺癌早期也将成倍增加。因此肺癌的早期筛查工作十分重要。肺癌早期的主要表现形式是肺结节，肺结节的种类众多，常见的肺结节形态表征有圆形肿块、磨玻璃状、边缘毛刺状等。
随着计算机技术的发展，计算机辅助诊断(Computer Aided Diagnosis，CAD)的引入有效地缓解了这些问题。CAD是指运用计算机技术分析计算影像、病理等数据，辅助发现病灶，从而提高诊断的准确率。但是，传统的CAD系统基于一些人工预先设计好的低级特征，例如灰度、纹理、形态。但是肺实质内部真实结节的形状、大小和纹理具有高度变化性，低级的特征描述无法充分表示这些真实的结节，所以结节的检测精度并不高。同时，传统CAD系统往往有许多操作步骤，需要人手动完成，灵活性较差无法进行端到端的检测，所以检测的自动化程度低效率不高。
目前，深度学习方法在肺实质分割领域的应用较少，虽然已经有许多传统方法可以较好的解决肺实质分割问题，但是基于深度学习的肺实质分割仍然是一个值得探索的方向。卷积神经网络(Convolutional Neural Networks，CNN)则是深度学习在图像领域的一个重要应用，近年来成为众多科学领域的研究热点之一。卷积神经网络对图像的特征提取十分方便，只需设计合理的网络结构与网络参数，卷积核每对图像进行一次卷积操作就可以生成一个特征图。通过合理地加深网络结构就可以学习到图像更深层次的特征。相较于人工设计特征的方法，卷积神经网络的适用范围更广，对图像的特征提取更加深刻全面。
如何将提供一种能够提升肺实质分割和肺结节检测的精度，基于全卷积神经网络的全自动化的肺肺结节检测系统成为本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种肺结节检测方法与检测系统，通过神经网络分割模型和肺结节检测模型分别进行肺实质分割和肺结节检测，并消除肺结节检测结果中的假阳性结节，大大提高了检测精度和效率。
为了实现上述目的，本发明采用如下技术方案：
一种肺结节检测方法，包括以下步骤：
S1、获取原始数据集，并对所述原始数据集进行预处理；
S2、采用Residual Block和损失函数构建神经网络分割模型；
S3、采用Faster RCNN算法构建肺结节检测模型；
S4、利用预处理后的原始数据集对神经网络分割模型和肺结节检测模型进行训练和测试；
S5、输入待检测图像至训练和测试后的神经网络分割模型和肺结节检测模型；
S6、利用所述神经网络分割模型对所述待检测图像进行肺实质分割，得到肺实质分割图像；
S7、利用所述肺结节检测模型对肺实质分割图像进行结节检测，输出肺结节候选区域；
S8、消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
经由上述的技术方案可知，与现有技术相比，本发明基于全卷积神经网络的肺实质分割方法，并通过改进网络结构和损失函数，最终得到了较好的神经网络分割模型，提高了肺实质边界区域的分割精度；通过Faster RCNN算法构建肺结节检测模型，消除假阳性结节，提高了肺结节检测精度。
优选的，在上述一种肺结节检测方法中，所述S1中的预处理包括数据清洗、图像翻转、颜色变换、去均值、归一化、标准化、PCA/ZCA白化操作中的至少一种。
优选的，在上述一种肺结节检测方法中，所述S2包括：
S21、采用全卷积网络构建U-Net结构；
S22、采用Residual Block提升所述U-Net结构的深度，构建残差U-Net结构模型；
S23、采用损失函数提升所述残差U-Net结构模型对肺实质边界区域的分割精度，并获得适用于肺实质分割的神经网络分割模型；
S24、将预处理后的原始数据集分为图像训练集和图像测试集；
S25、利用所述图像训练集的第一部分图像对所述神经网络分割模型进行训练；
S26、将所述图像测试集输入到训练后的神经网络分割模型中，得到所述图像测试集的预测分类结果；
S27、利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像，并对其进行实际分类；
S28，利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的神经网络分割模型进行再次训练；
S29，利用所述图像训练集的第二部分图像对再次训练后的神经网络分割模型进行测试，以确认所述模型的预测分类结果满足预设精度。
优选的，在上述一种肺结节检测方法中，所述S22包括：将残差结构ResidualBlock融入所述U-Net结构，使所述U-Net结构中的冗余层完成恒等映射，确保经过恒等层的输入和输出完全相同。
优选的，在上述一种肺结节检测方法中，所述S23包括：
S231、采用二元交叉熵损失作为残差U-Net结构模型的损失函数，其定义为：
Figure BDA0002539703740000031
上式中下标i代表图像中任一像素点，是第i个像素点的肺实质label值，predi是第i个像素点的预测值；网络的输出是一个512*512的概率矩阵，对应预测待输入图片中的每一个像素点是肺实质的概率值，每一个像素对应的输出值是0到1之间的实数；
S232、在所述损失函数中加入边界惩罚项；
S2321、将原始的肺实质label做形态学膨胀处理，得到肺实质区域外扩图；
S2322、将原始的肺实质label做形态学腐蚀处理，得到肺实质区域内缩图；
S2324、将所述肺实质区域外扩图与所述肺实质区域内缩图作差，自动生成肺实质区域的边界Mask；计算损失函数时，根据边界Mask对肺实质边界区域的损失进行加权，加权后的损失函数公式如下：
Figure BDA0002539703740000041
上式中，下标j代表肺实质边界区域的像素，λ是边界惩罚项系数，用于控制边界惩罚的程度。
优选的，在上述一种肺结节检测方法中，所述S3包括：
S31、采用ResNet作为主干网络融入Faster RCNN算法中，构建肺结节检测模型；
S32、将预处理后的所述原始数据集分为图像训练集和图像测试集；
S33、利用所述图像训练集的第一部分图像对所述肺结节检测模型进行训练；
S34、将所述图像测试集输入到训练后的肺结节检测模型中，得到所述图像测试集的预测分类结果；
S35、利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像，并对其进行实际分类；
S36，利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的肺结节检测模型进行再次训练；
S37，利用所述图像训练集的第二部分图像对再次训练后的肺结节检测模型进行测试，以确认所述肺结节检测模型的预测分类结果满足预设精度。
优选的，在上述一种肺结节检测方法中，所述S31包括：
S311、采用ResNet作为主干网络融入Faster RCNN算法中；
S312、采用anchor作为预先定义好的固定尺寸的边界框，并作为Faster RCNN算法第一次预测目标位置的参考边界框；
S313、采用聚类算法K-均值，确定anchor的尺度和宽纵比参数；
S314、利用机器学习库scikit-learn实现对原始数据集中肺结节尺寸的聚类分析；
S315、根据聚类分析结果构建肺结节检测模型。
优选的，在上述一种肺结节检测方法中，所述S8包括：
S81、提取所述肺结节候选区域中候选结节的3D特征；
S82、以候选结节的中心为球心，产生有序均匀视点；
S83、确定对所述候选结节中心且与视线垂直的平面上的图像作为所述视点的2D再生图像；
S84、对每个所述2D再生图像，使用基于区域的活动轮廓模型对所述候选结节进行分割；
S85、计算各分割区域图像的2D特征；
S86、使用所述2D特征和所述3D特征对候选结节进行分类，区分候选结节为肺结节或假阳性结节；
S87、消除假阳性结节区域，输出肺结节检测结果。
优选的，在上述一种肺结节检测方法中，步骤S87中消除假阳性结节区域的方法为：如果一个2D候选结节的短轴与长轴比的标准差小于0.2，且第一个2D不变矩的标准差小于0.5，则认为所述候选结节为肺结节；否则，认为所述候选结节为假阳性结节。
本发明还公开一种肺结节检测系统，包括：
图像输入模块，所述图像输入模块用于获取待检测的CT图像；
肺实质分割模块，所述肺实质分割模块采用Residual Block和损失函数对待检测的CT图像进行肺实质分割，并获得肺实质分割图像；
肺结节候选区域检测模块，所述肺结节候选区域检测模块采用Faster RCNN算法对所述肺实质分割图像进行结节检测，并输出肺结节候选区域，以及所述肺结节候选区域中各结节的尺寸、大小和分布信息；
假阳性结节消除模块，所述假阳性结节消除模块用于消除所述肺结节候选区域的假阳性结节区域；
肺结节结果输出模块，所述肺结节结果输出模块用于输出肺结节的检测结果。
经由上述技术方案可知，与现有技术相比，将待检测的CT图像输入本发明肺结节检测系统中，能够自动获取并识别图像信息，并依次对CT图像进行肺实质分割和肺结节检测。肺实质分割模块通过引入残差网络结构和边界惩罚项，很大程度上提升了肺实质的分割精度。肺结节候选区域检测模块通过引入Faster RCNN算法，提高了肺结节的检测精度，并配合假阳性结节消除模块消除假阳性结节，进一步提高了肺结节的检测精度。最后，肺结节的检测结果通过肺结节结果输出模块输出，检测结果包括肺结节的尺寸和分部信息。该系统能够自动检测CT图像是否存在结节以及结节的分布情况，且能够提升检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的肺结节检测方法的流程图；
图2附图为本发明提供的残差U-Net结构；
图3附图为本发明提供的CT图像肺实质的初始分割图；
图4附图为本发明提供的肺实质区域外扩图；
图5附图为本发明提供的肺实质区域内缩图；
图6附图为本发明提供的肺实质区域的边界图；
图7附图为本发明提供的k值与距离误差关系图；
图8附图为本发明提供的k＝3时的K-means聚类结果示意图；横坐标是肺结节的宽，纵坐标是肺结节的高；
图9附图为本发明提供的k＝4时的K-means聚类结果示意图；横坐标是肺结节的宽，纵坐标是肺结节的高；
图10附图为本发明提供的肺结节检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种肺结节检测方法，包括以下步骤：
S1、获取原始数据集，并对原始数据集进行预处理；
S2、采用Residual Block和损失函数构建神经网络分割模型；
S3、采用Faster RCNN算法构建肺结节检测模型；
S4、利用预处理后的原始数据集对神经网络分割模型和肺结节检测模型进行训练和测试；
S5、输入待检测图像至训练和测试后的神经网络分割模型和肺结节检测模型；
S6、利用神经网络分割模型对待检测图像进行肺实质分割，得到肺实质分割图像；
S7、利用肺结节检测模型对肺实质分割图像进行结节检测，输出肺结节候选区域；
S8、消除肺结节候选区域的非结节区域，得到肺结节检测结果。
本发明基于全卷积神经网络的肺实质分割方法，并通过改进网络结构和损失函数，最终得到了较好的神经网络分割模型，提高了肺实质边界区域的分割精度；通过FasterRCNN算法构建肺结节检测模型，消除假阳性结节，提高了肺结节检测精度。
具体的，S1中的预处理包括数据清洗、图像翻转、颜色变换、去均值、归一化、标准化、PCA/ZCA白化操作中的至少一种。
数据集的好坏将直接关系到算法的效果，尤其对于深度学习方法来说，一个数据集的好坏直接关系到网络的训练，如果送入网络训练的数据本身就存在问题，那么必然会对最终的模型结果产生影响。所以，对原始数据集进行有效的预处理是十分必要的。
S2包括：
S21、采用全卷积网络构建U-Net结构；
S22、采用Residual Block提升U-Net结构的深度，构建残差U-Net结构模型；将残差结构Residual Block融入U-Net结构，使U-Net结构中的冗余层完成恒等映射，确保经过恒等层的输入和输出完全相同。
S23、采用损失函数提升残差U-Net结构模型对肺实质边界区域的分割精度，并获得适用于肺实质分割的神经网络分割模型；
S24、将预处理后的原始数据集分为图像训练集和图像测试集；
S25、利用图像训练集的第一部分图像对神经网络分割模型进行训练；
S26、将图像测试集输入到训练后的神经网络分割模型中，得到图像测试集的预测分类结果；
S27、利用自主学习算法根据预测分类结果得到图像测试集中满足预设条件的图像，并对其进行实际分类；
S28，利用满足预设条件的图像及其对应的实际分类结果以及图像训练集的第一部分图像对上一次训练后的神经网络分割模型进行再次训练；
S29，利用图像训练集的第二部分图像对再次训练后的神经网络分割模型进行测试，以确认神经网络分割模型的预测分类结果满足预设精度。
本发明在步骤S22中借鉴U-Net思想，将深度学习方法应用到了肺实质分割领域，该U-Net分割网络的结构采用了全卷积网络的形式，其层次结构主要包括卷积层、池化层、转置卷积层、BN层。该网络中主要用到的激活函数主要有LeakyRelu和Sigmoid。分割网络的整体结构可以概括为两个路径，分别为收缩路径和扩张路径，这两个路径是完全对称的。收缩路径的主要作用主要是特征提取、捕捉上下文信息，扩张路径的主要作用是精准定位、还原分割图像。
在深度学习领域，人们往往会尝试构建更深层次的网络，以便取得更高层次的特征。但是在使用深层次的网络结构时我们会遇到两个问题，梯度消失，梯度爆炸问题和网络退化的问题。各种梯度下降优化算法的出现和一系列参数初始化方法的提出，有效地解决了梯度消失和梯度爆炸问题。网络退化问题是指随着网络不断加深，识别率开始饱和，之后网络如果继续加深识别率就开始下降。有时更深的网络结果反而不如较浅层的网络。
本实施例采用ResidualBlock残差结构融入了U-Net结构，对分割网络进行了改进，本实施例的残差结构如图2所示，利用Res_Convblock替换掉原来网络结构(收缩路径)中的Convblock，实际在实验中发现如果在扩张路径中也引入残差块会导致网络训练时无法收敛。Res_Convblock中包含了两个Convblock，并添加了shortcut路径。Res_Convblock结构共有两种形式，分别为Res_Convblock1和Res_Convblock2。Res_Convblock1结构在block的第一层添加了一个1*1的卷积层，目的是为了配合shortcut操作。因为在整个分割网络中channels的维度是先上升后下降不断变化的。而shortcut操作要求前后的channels的维度保持一致，否则无法相加。Res_Convblock1结构中先通过1*1卷积将输入的channels维度改变成当前需要的维度，再送入残差块进行学习。在改进的网络结构中，用一个Res_Convblock代替Convblock，可以发现网络的深度提升了一倍。因为一个Res_Convblock中有两个原始的Convblock，当然1*1卷积层数量不考虑在内。shortcut操作的引入，保证了即使网络变得更深，也不会出现网络退化的现象。值得注意的是Res_Convblock中最后一个Convblock的激活函数是在shortcut操作之后，数据经过Res_Convblock1后channels的维度就已经改变，后面Res_Convblock就不需要1*1的卷积层。所以，Res_Convblock2应该接在Res_Convblock1之后，并去除多余的1*1卷积层。当整体网络又需要改变channels的维度时，再重复Res_Convblock1和Res_Convblock2的顺序结构即可。
对于U-Net基础网络改进的创新之处在于，在加深了网络层次的同时引入了残差的思想。保证了U-Net在能够学习到更丰富的层次特征的同时又不会受到网络退化问题的干扰，能够有效地提升网络的整体性能。
具体的，S23包括：
S231、采用二元交叉熵损失作为残差U-Net结构模型的损失函数，其定义为：
Figure BDA0002539703740000101
上式中下标i代表图像中任一像素点，是第i个像素点的肺实质label值，predi是第i个像素点的预测值；网络的输出是一个512*512的概率矩阵，对应预测待输入图片中的每一个像素点是肺实质的概率值，每一个像素对应的输出值是0到1之间的实数；
损失函数(loss function)是用来估量模型的预测值与真实值不一致的程度，当损失函数的数值越小时，就代表模型的鲁棒性就越好。损失函数的设计是一个完整的深度学习方法必不可少的一部分，并且十分重要，损失函数设计的合理与否将直接决定模型最终的效果。
S232、在损失函数中加入边界惩罚项；加入边界惩罚项最直接的想法就是，让边界区域的损失函数值在总体损失函数中占有更大权重，即在原本的损失函数中再加一项边界区域的损失函数。所以，首先需要获得图像中分割对象的边界区域，如图3所示，为CT图像肺实质的初始分割图。
S2321、如图4所示，将原始的肺实质label做形态学膨胀处理，得到肺实质区域外扩图。
S2322、如图5所示，将原始的肺实质label做形态学腐蚀处理，得到肺实质区域内缩图；
S2324、如图6所示，将肺实质区域外扩图与肺实质区域内缩图作差，自动生成肺实质区域的边界图；计算损失函数时，根据边界图对肺实质边界区域的损失进行加权，加权后的损失函数公式如下：
Figure BDA0002539703740000102
上式中，下标j代表肺实质边界区域的像素，λ是边界惩罚项系数，用于控制边界惩罚的程度。
具体的，S3包括：
S31、采用ResNet作为主干网络融入Faster RCNN算法中，构建肺结节检测模型；
S32、将预处理后的原始数据集分为图像训练集和图像测试集；
S33、利用图像训练集的第一部分图像对肺结节检测模型进行训练；
S34、将图像测试集输入到训练后的肺结节检测模型中，得到图像测试集的预测分类结果；
S35、利用自主学习算法根据预测分类结果得到图像测试集中满足预设条件的图像，并对其进行实际分类；
S36，利用满足预设条件的图像及其对应的实际分类结果以及图像训练集的第一部分图像对上一次训练后的肺结节检测模型进行再次训练；
S37，利用图像训练集的第二部分图像对再次训练后的肺结节检测模型进行测试，以确认肺结节检测模型的预测分类结果满足预设精度。
具体的，S31包括：
S311、采用ResNet作为主干网络融入Faster RCNN算法中；
S312、采用anchor作为预先定义好的固定尺寸的边界框，并作为Faster RCNN算法第一次预测目标位置的参考边界框；
S313、采用聚类算法K-均值，确定anchor的尺度和宽纵比参数；
S314、利用机器学习库scikit-learn实现对原始数据集中肺结节尺寸的聚类分析；
S315、根据聚类分析结果构建肺结节检测模型。
本实施例使用的聚类算法是K-均值(K-means)，它可以自动划分出k个不同的簇，且每个簇的中心是由簇中所含值的均值计算而成。K-means算法的基本思想是先随机给出k个簇中心，按照距离最邻近原则把待分类的样本依次划分到各个簇；然后通过计算各个簇类中样本的均值，从而重新确定新的簇心；不断迭代，直到簇心的变化小于某个给定的值。
K-means聚类算法可概括为三个步骤：
(1)根据设定的k值，随机初始化k个聚类中心；
(2)计算每个样本点到聚类中心的距离，按照距离最邻近原则将所有样本重新划分类别；
(3)计算k个聚类中所有样本点的平均值，将这k个平均值作为新的k个聚类中心；循环执行第二步和第三步，直到满足算法设定的终止条件后停止迭代。
本实施例使用python常用的机器学习库scikit-learn来实现对肺结节尺寸的聚类分析。首先读取所有训练集肺结节的位置标签文件，计算每一个肺结节的宽和高，制作聚类分析的数据集。然后，根据总的距离误差搜索合适的k值，结果如图7所示。
由图7可知，当k值取3和4时，总的距离误差下降已经趋于平缓。因此实施例的聚类中心数取3和4，并针对这两个不同的k值分别进行K-means聚类分析，得到的结果如图8和图9所示。
S8包括：
S81、提取肺结节候选区域中候选结节的3D特征；
S82、以候选结节的中心为球心，产生有序均匀视点；
S83、确定对候选结节中心且与视线垂直的平面上的图像作为视点的2D再生图像；
S84、对每个2D再生图像，使用基于区域的活动轮廓模型对候选结节进行分割；
S85、计算各分割区域图像的2D特征；
S86、使用2D特征和3D特征对候选结节进行分类，区分候选结节为肺结节或假阳性结节；
S87、消除假阳性结节区域，输出肺结节检测结果。其中消除假阳性结节区域的方法为：如果一个2D候选结节的短轴与长轴比的标准差小于0.2，且第一个2D不变矩的标准差小于0.5，则认为候选结节是肺结节；否则，认为候选结节是假阳性结节。
本发明对神经网络分割模型进行了效果评估，分别对基础U-Net结构、残差U-Net结构、残差U-Net结构+边界惩罚项分别做了验证实验。采用的分割评价的量化标准是Dice系数，Dice系数是一个较为客观的分割评价量化标准。Dice系数的具体定义如下：
Figure BDA0002539703740000131
Dice系数衡量的是A区域和B区域的重叠程度大小，当A区域与B区域完全重叠时Dice系数值为1，当A区域与B区域没有交集时Dice系数值为0。Dice系数的值越接近1，表示分割算法的分割结果越接近真实的分割结果。
使用Dice系数分别对基础U-Net结构、残差U-Net结构、残差U-Net结构+边界惩罚项分别做了验证实验，得到的结果如表1所示。
表1
样本对象 Dice系数
基础U-Net结构 0.863
残差U-Net结构 0.912
残差U-Net结构+边界惩罚项，λ＝1.5 0.936
由表1可知，本实施例中基于残差U-Net结构，在损失函数中引入边界惩罚项有助于提升肺实质的分割效果。
如图10所示，本发明实施例还提供一种肺结节检测系统，包括：
图像输入模块1，图像输入模块1用于获取待检测的CT图像；
肺实质分割模块2，肺实质分割模块2采用Residual Block和损失函数对待检测的CT图像进行肺实质分割，并获得肺实质分割图像；
肺结节候选区域检测模块3，肺结节候选区域检测模块3采用Faster RCNN算法对肺实质分割图像进行结节检测，并输出肺结节候选区域，以及肺结节候选区域中各结节的尺寸、大小和分布信息；
假阳性结节消除模块4，假阳性结节消除模块4用于消除肺结节候选区域的假阳性结节区域；
肺结节结果输出模块5，肺结节结果输出模块5用于输出肺结节的检测结果。检测结果包括非结节的尺寸和分布情况。
本实施例肺结节检测系统能够自动获取并识别CT图像信息，并依次对CT图像进行肺实质分割和肺结节检测。肺实质分割模块通过引入残差网络结构和边界惩罚项，很大程度上提升了肺实质的分割精度。肺结节候选区域检测模块通过引入Faster RCNN算法，提高了肺结节的检测精度，并配合假阳性结节消除模块消除假阳性结节，进一步提高了肺结节的检测精度。肺结节结果输出模块输出肺结节的尺寸和分布信息，检测结果一目了然。该系统能够自动检测CT图像是否存在结节以及结节的分布情况，且能够大大提升检测精度，且减缓医护压力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种肺结节检测方法，其特征在于，包括以下步骤：
S1、获取原始数据集，并对所述原始数据集进行预处理；
S2、采用Residual Block和损失函数构建神经网络分割模型；
S3、采用Faster RCNN算法构建肺结节检测模型；
S4、利用预处理后的原始数据集对神经网络分割模型和肺结节检测模型进行训练和测试；
S5、输入待检测图像至训练和测试后的神经网络分割模型和肺结节检测模型；
S6、利用所述神经网络分割模型对所述待检测图像进行肺实质分割，得到肺实质分割图像；
S7、利用所述肺结节检测模型对肺实质分割图像进行结节检测，输出肺结节候选区域；
S8、消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
2.根据权利要求1所述的一种肺结节检测方法，其特征在于，所述S1中的预处理包括数据清洗、图像翻转、颜色变换、去均值、归一化、标准化、PCA/ZCA白化操作中的至少一种。
3.根据权利要求1所述的一种肺结节检测方法，其特征在于，所述S2包括：
S21、采用全卷积网络构建U-Net结构；
S22、采用Residual Block提升所述U-Net结构的深度，构建残差U-Net结构模型；
S23、采用损失函数提升所述残差U-Net结构模型对肺实质边界区域的分割精度，并获得适用于肺实质分割的神经网络分割模型；
S24、将预处理后的原始数据集分为图像训练集和图像测试集；
S25、利用所述图像训练集的第一部分图像对所述神经网络分割模型进行训练；
S26、将所述图像测试集输入到训练后的神经网络分割模型中，得到所述图像测试集的预测分类结果；
S27、利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像，并对其进行实际分类；
S28，利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的神经网络分割模型进行再次训练；
S29，利用所述图像训练集的第二部分图像对再次训练后的神经网络分割模型进行测试，以确认神经网络分割模型的预测分类结果满足预设精度。
4.根据权利要求3所述的一种肺结节检测方法，其特征在于，所述S22包括：将残差结构Residual Block融入所述U-Net结构，使所述U-Net结构中的冗余层完成恒等映射，确保经过恒等层的输入和输出完全相同。
5.根据权利要求3所述的一种肺结节检测方法，其特征在于，所述S23包括：
S231、采用二元交叉熵损失作为残差U-Net结构模型的损失函数，其定义为：
Figure FDA0002539703730000021
上式中下标i代表图像中任一像素点，是第i个像素点的肺实质label值，predi是第i个像素点的预测值；网络的输出是一个512*512的概率矩阵，对应预测待输入图片中的每一个像素点是肺实质的概率值，每一个像素对应的输出值是0到1之间的实数；
S232、在所述损失函数中加入边界惩罚项；
S2321、将原始的肺实质label做形态学膨胀处理，得到肺实质区域外扩图；
S2322、将原始的肺实质label做形态学腐蚀处理，得到肺实质区域内缩图；
S2324、将所述肺实质区域外扩图与所述肺实质区域内缩图作差，自动生成肺实质区域的边界Mask；计算损失函数时，根据边界Mask对肺实质边界区域的损失进行加权，加权后的损失函数公式如下：
Figure FDA0002539703730000022
上式中，下标j代表肺实质边界区域的像素，λ是边界惩罚项系数，用于控制边界惩罚的程度。
6.根据权利要求1所述的一种肺结节检测方法，其特征在于，所述S3包括：
S31、采用ResNet作为主干网络融入Faster RCNN算法中，构建肺结节检测模型；
S32、将预处理后的所述原始数据集分为图像训练集和图像测试集；
S33、利用所述图像训练集的第一部分图像对所述肺结节检测模型进行训练；
S34、将所述图像测试集输入到训练后的肺结节检测模型中，得到所述图像测试集的预测分类结果；
S35、利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像，并对其进行实际分类；
S36，利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的肺结节检测模型进行再次训练；
S37，利用所述图像训练集的第二部分图像对再次训练后的肺结节检测模型进行测试，以确认所述肺结节检测模型的预测分类结果满足预设精度。
7.根据权利要求6所述的一种肺结节检测方法，其特征在于，所述S31包括：
S311、采用ResNet作为主干网络融入Faster RCNN算法中；
S312、采用anchor作为预先定义好的固定尺寸的边界框，并作为Faster RCNN算法第一次预测目标位置的参考边界框；
S313、采用聚类算法K-均值，确定anchor的尺度和宽纵比参数；
S314、利用机器学习库scikit-learn实现对原始数据集中肺结节尺寸的聚类分析；
S315、根据聚类分析结果构建肺结节检测模型。
8.根据权利要求1所述的一种肺结节检测方法，其特征在于，所述S8包括：
S81、提取所述肺结节候选区域中候选结节的3D特征；
S82、以候选结节的中心为球心，产生有序均匀视点；
S83、确定对所述候选结节中心且与视线垂直的平面上的图像作为所述视点的2D再生图像；
S84、对每个所述2D再生图像，使用基于区域的活动轮廓模型对所述候选结节进行分割；
S85、计算各分割区域图像的2D特征；
S86、使用所述2D特征和所述3D特征对候选结节进行分类，区分候选结节为肺结节或假阳性结节；
S87、消除假阳性结节区域，输出肺结节检测结果。
9.根据权利要求8所述的一种肺结节检测方法，其特征在于，步骤S87中消除假阳性结节区域的方法为：如果一个2D候选结节的短轴与长轴比的标准差小于0.2，且第一个2D不变矩的标准差小于0.5，则认为所述候选结节为肺结节；否则，认为所述候选结节为假阳性结节。
10.一种采用如权利要求1-9任一项所述的肺结节检测方法的检测系统，其特征在于，包括：
图像输入模块(1)，所述图像输入模块(1)用于获取待检测的CT图像；
肺实质分割模块(2)，所述肺实质分割模块(2)采用Residual Block和损失函数对待检测的CT图像进行肺实质分割，并获得肺实质分割图像；
肺结节候选区域检测模块(3)，所述肺结节候选区域检测模块(3)采用Faster RCNN算法对所述肺实质分割图像进行结节检测，并输出肺结节候选区域，以及所述肺结节候选区域中各结节的尺寸、大小和分布信息；
假阳性结节消除模块(4)，所述假阳性结节消除模块(4)用于消除所述肺结节候选区域的假阳性结节区域；
肺结节结果输出模块(5)，所述肺结节结果输出模块(5)用于输出肺结节的检测结果。
CN202010543357.XA 2020-06-15 2020-06-15 一种肺结节检测方法与检测系统 Pending CN111754472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010543357.XA CN111754472A (zh) 2020-06-15 2020-06-15 一种肺结节检测方法与检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010543357.XA CN111754472A (zh) 2020-06-15 2020-06-15 一种肺结节检测方法与检测系统

Publications (1)

Publication Number Publication Date
CN111754472A true CN111754472A (zh) 2020-10-09

Family

ID=72676117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010543357.XA Pending CN111754472A (zh) 2020-06-15 2020-06-15 一种肺结节检测方法与检测系统

Country Status (1)

Country Link
CN (1) CN111754472A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785592A (zh) * 2021-03-10 2021-05-11 河北工业大学 基于多重扩张路径的医学影像深度分割网络
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN113506288A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 基于transform注意力机制的肺结节检测方法及装置
CN113658162A (zh) * 2021-08-24 2021-11-16 中山仰视科技有限公司 精细化肺结节检测方法、系统、设备及介质
CN113706492A (zh) * 2021-08-20 2021-11-26 复旦大学 一种基于胸部ct影像的肺实质自动分割方法
CN113743375A (zh) * 2021-10-13 2021-12-03 哈尔滨市科佳通用机电股份有限公司 铁路货车折角塞门手把不正位识别方法
CN113838026A (zh) * 2021-09-22 2021-12-24 中南大学 非小细胞肺癌检测方法、装置、计算机设备和存储介质
CN114677383A (zh) * 2022-03-03 2022-06-28 西北工业大学 基于多任务学习的肺结节检测分割方法
CN117058218A (zh) * 2023-07-13 2023-11-14 湖南工商大学 基于图像-深度的盘式造球颗粒粉末填充率在线测量方法
CN117593292A (zh) * 2024-01-18 2024-02-23 江西师范大学 一种基于三维正交注意力的ct图像目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842132A (zh) * 2012-07-12 2012-12-26 上海联影医疗科技有限公司 一种ct肺结节检测方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842132A (zh) * 2012-07-12 2012-12-26 上海联影医疗科技有限公司 一种ct肺结节检测方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAHUANG ET.AL: "Fast and fully-automated detection and segmentation of pulmonary nodules in thoracic CT scans using deep convolutional neural networks", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *
辛阳 等: "《大数据技术原理与实践》", 31 January 2018 *
陈强锐: "基于卷积神经网络的肺实质分割与肺结节检测方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785592A (zh) * 2021-03-10 2021-05-11 河北工业大学 基于多重扩张路径的医学影像深度分割网络
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN113298754B (zh) * 2021-04-12 2024-02-06 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN113506288A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 基于transform注意力机制的肺结节检测方法及装置
CN113706492A (zh) * 2021-08-20 2021-11-26 复旦大学 一种基于胸部ct影像的肺实质自动分割方法
CN113658162A (zh) * 2021-08-24 2021-11-16 中山仰视科技有限公司 精细化肺结节检测方法、系统、设备及介质
CN113838026A (zh) * 2021-09-22 2021-12-24 中南大学 非小细胞肺癌检测方法、装置、计算机设备和存储介质
CN113838026B (zh) * 2021-09-22 2024-02-02 中南大学 非小细胞肺癌检测方法、装置、计算机设备和存储介质
CN113743375B (zh) * 2021-10-13 2022-07-01 哈尔滨市科佳通用机电股份有限公司 铁路货车折角塞门手把不正位识别方法
CN113743375A (zh) * 2021-10-13 2021-12-03 哈尔滨市科佳通用机电股份有限公司 铁路货车折角塞门手把不正位识别方法
CN114677383A (zh) * 2022-03-03 2022-06-28 西北工业大学 基于多任务学习的肺结节检测分割方法
CN114677383B (zh) * 2022-03-03 2024-03-15 西北工业大学 基于多任务学习的肺结节检测分割方法
CN117058218A (zh) * 2023-07-13 2023-11-14 湖南工商大学 基于图像-深度的盘式造球颗粒粉末填充率在线测量方法
CN117058218B (zh) * 2023-07-13 2024-06-07 湖南工商大学 基于图像-深度的盘式造球颗粒粉末填充率在线测量方法
CN117593292A (zh) * 2024-01-18 2024-02-23 江西师范大学 一种基于三维正交注意力的ct图像目标检测方法
CN117593292B (zh) * 2024-01-18 2024-04-05 江西师范大学 一种基于三维正交注意力的ct图像目标检测方法

Similar Documents

Publication Publication Date Title
CN111754472A (zh) 一种肺结节检测方法与检测系统
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
CN111462116A (zh) 基于影像组学特征的多模态参数模型优化融合方法
US11875479B2 (en) Fusion of deep learning and handcrafted techniques in dermoscopy image analysis
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN115393269A (zh) 一种基于多模态影像数据的可扩展多层级图神经网络模型
CN112446891A (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112862830A (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN112819747A (zh) 一种基于肺部断层扫描图片自动诊断结节良恶性的方法
Zhang et al. Feature-transfer network and local background suppression for microaneurysm detection
CN115985503B (zh) 基于集成学习的癌症预测系统
Sharma et al. Brain tumor classification using the modified ResNet50 model based on transfer learning
Liu et al. Pathological lung segmentation based on random forest combined with deep model and multi-scale superpixels
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115984555A (zh) 一种基于深度自编码器构图的冠状动脉狭窄识别方法
Shahroudnejad et al. TUN-Det: a novel network for thyroid ultrasound nodule detection
Aman et al. Content-based image retrieval on CT colonography using rotation and scale invariant features and bag-of-words model
Kovalev et al. Biomedical image recognition in pulmonology and oncology with the use of deep learning
Lv et al. An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography
Afshar et al. Lung tumor area recognition in CT images based on Gustafson-Kessel clustering
Gong et al. Towards accurate pulmonary nodule detection by representing nodules as points with high-resolution network
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201009

RJ01 Rejection of invention patent application after publication