CN113744183B - 肺结节检测方法及系统 - Google Patents
肺结节检测方法及系统 Download PDFInfo
- Publication number
- CN113744183B CN113744183B CN202110851565.0A CN202110851565A CN113744183B CN 113744183 B CN113744183 B CN 113744183B CN 202110851565 A CN202110851565 A CN 202110851565A CN 113744183 B CN113744183 B CN 113744183B
- Authority
- CN
- China
- Prior art keywords
- lung
- detected
- scanning image
- detection
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 230000002685 pulmonary effect Effects 0.000 title claims description 5
- 210000004072 lung Anatomy 0.000 claims abstract description 76
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 74
- 238000002591 computed tomography Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012952 Resampling Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种肺结节检测方法及系统，属于图像识别技术领域，包括：获取待检测的肺部CT扫描图像；对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。本发明实现了对肺结节区域的准确检测，提高了检测效率，保证了检测质量，提高了辅助医生进行疾病诊断的稳定性和效率。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种肺结节检测方法及系统。
背景技术
早期及时发现患者潜在的肺癌微小病灶并加以治疗，对于降低肺癌患者的发病率和死亡率具有重要作用。在现阶段主要用低剂量计算机断层扫描(Low dose CT，LDCT)来进行肺结节筛查，强化CT影像是医生通过直接观察即可诊断肺癌的直接依据。CT影像中的肺结节种类、结构、大小、位置各不相同，医生筛查切片难以处理和分析影像数据，更容易受医生主观性的影响，同时强化CT影像的数量也在增加，给医生的工作带来了巨大挑战。
显然，仅依靠人类视觉系统观察和发现切片中微小病变肺结节极其困难，必须借助计算机辅助系统(Computer-aided diagnosis,CAD)作为参考意见来帮助医生进行诊断。
随着信息时代的发展，深度学习的应用越来越广泛，近年来肺结节自动辅助检测系统的研究十分活跃，基于卷积神经网络(CNN)的计算机辅助诊断系统已被证实具有识别肺结节的能力，可以自主的学习结节高级特征，帮助医生进行临床诊断，无需人工对切片进行筛查。
现有的基于卷积神经网络的肺结节检测的方法，大多基于二维卷积神经网络，虽然二维卷积网络在肺结节检测方面较比传统手工提取特征提高了15％～20％，但强化CT图像实质是三维的，二维卷积神经网络不能很好的利用CT的三维空间信息进行检测，3D CNN能很好的学习到强化CT三维重建后的特征，但是目前所提出的三维卷积神经网络结构复杂，所用配置参数多，误差率高。
发明内容
本发明的目的在于提供一种提高了肺结节自动检测精度的基于多尺度模块的CT图像的肺结节检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种肺结节检测方法，包括：
获取待检测的肺部CT扫描图像；
对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
优选的，训练所述检测模型包括：
对原始强化肺部CT扫描图像进行重采样、归一化以及对掩码进行膨胀操作，提取肺部区域，并进行肺结节位置和区域的标注，得到训练集；
基于训练集对构建的基础网络进行训练，结合损失函数，使用SGD优化算法，对基础网络参数进行优化，直至输出的预测值与真实值之间的差异最小，得到训练好的检测模型。
优选的，构建基础网络，以3D Resnet18为基础，与U-Net编码器解码器相结合，增加了多尺度特征提取模块，使用不同的卷积核获取不同范围的感受野。
优选的，多尺度特征模块由多个大小不同的尺度组成，分别为不同大小卷积核的多个卷积层和一个平均池化层；其中，使用卷积层来检测不同尺寸大小的结节，使用平均池化层来改变输入的特征排列，降低特征图的厚度；将各个尺度获得的特征信息进行融合，并经过归一化与激活函数，形成新的特征图。
优选的，使用的评估标准为：
其中，TP代表真阳性的个数，FN代表假阴性的个数，TP+FN即为实际标注的正样本数。
优选的，使用损失函数是来评价网络模型输出的锚框交并比的预测值与真实值之间的差异，损失函数定义为：
L＝Lcls+p*Lreg；
其中，Lcls表示分类损失，Lcls＝-α(1-pt)γlog(pt)，p*＝1代表阳性样本，p*＝0代表阴性样本；p是正样本的分类输出概率，当是真实类标签y＝1时，pt＝p，否则pt＝1-p，α是焦点损失的平衡因子，γ是可调的聚焦参数；Lreg表示回归损失函数。
优选的，回归损失函数被定义为：
Lreg＝∑kS(Gk，Pk)；
其中，S(·)是平滑损失函数，Gk表示参数化的真实值，即
Pk表示相应参数化的预测值：
其中，(xa,ya,za)表示锚的实际空间位置，其中xa、ya和za分别表示锚的平面水平、平面垂直和垂直方向的坐标，ra表示锚的半径，k表示最小尺寸的序号；(xg,yg,zg)表示锚的标注空间位置。
第二方面，本发明提供一种肺结节检测系统，包括：
获取模块，用于获取待检测的肺部CT扫描图像；
处理模块，用于对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
检测模块，用于利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的肺结节检测方法。
第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行如上所述的肺结节检测方法的指令。
本发明有益效果：实现了对肺结节区域的准确检测，提高了检测效率，保证了检测质量，提高了辅助医生进行疾病诊断的稳定性和效率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的肺结节检测方法流程图。
图2为本发明实施例所述的训练检测模型使用的基础网络模型架构图。
图3为本发明实施例所述的残差模块结构图。
图4为本发明实施例所述的多尺度特征提取架构图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种肺结节检测系统，该系统包括：
获取模块，用于获取待检测的肺部CT扫描图像；
处理模块，用于对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
检测模块，用于利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
本实施例1中，利用上述的肺结节检测系统，实现了肺结节检测方法，该方法包括：
使用获取模块获取待检测的肺部CT扫描图像。如CT图像扫描装置扫描的CT图像传输给处理模块。
使用处理模块对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
使用检测模块，利用其中训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果。所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
本实施例1中，训练所述检测模型包括：
对原始强化肺部CT扫描图像进行重采样、归一化以及对掩码进行膨胀操作，提取肺部区域，并进行肺结节位置和区域的标注，得到训练集；
基于训练集对构建的基础网络进行训练，结合损失函数，使用SGD优化算法，对基础网络参数进行优化，直至输出的预测值与真实值之间的差异最小，得到训练好的检测模型。
本实施例1中，构建的所述基础网络，以3D Resnet18为基础，与U-Net编码器解码器相结合，增加了多尺度特征提取模块，使用不同的卷积核获取不同范围的感受野。
本实施例1中，多尺度特征模块由多个大小不同的尺度组成，分别为不同大小卷积核的多个卷积层和一个平均池化层；其中，使用卷积层来检测不同尺寸大小的结节，使用平均池化层来改变输入的特征排列，降低特征图的厚度；将各个尺度获得的特征信息进行融合，并经过归一化与激活函数，形成新的特征图。
本实施例1中，使用的评估标准为：
其中，TP代表真阳性的个数，FN代表假阴性的个数，TP+FN即为实际标注的正样本数。
本实施例1中，使用损失函数是来评价网络模型输出的锚框交并比的预测值与真实值之间的差异，损失函数定义为：
L＝Lcls+p*Lreg；
其中，Lcls表示分类损失，Lcls＝-α(1-pt)γlog(pt)，p*＝1代表阳性样本，p*＝0代表阴性样本；p是正样本的分类输出概率，当是真实类标签y＝1时，pt＝p，否则pt＝1-p，α是焦点损失的平衡因子，γ是可调的聚焦参数；Lreg表示回归损失函数。
本实施例1中，回归损失函数被定义为：
Lreg＝∑kS(Gk，Pk)；
其中，S(·)是平滑损失函数，Gk表示参数化的真实值，即
Pk表示相应参数化的预测值：
其中，(xa,ya,za)表示锚的实际空间位置，其中，xa,ya和za分别表示锚的平面水平、平面垂直和垂直方向的坐标，ra表示锚的半径，k表示最小尺寸的序号；(xg,yg,zg)表示锚的实标注空间位置。
实施例2
本实施例2中，提供一种肺结节检测系统，该系统包括：
获取模块，用于获取待检测的肺部CT扫描图像；
处理模块，用于对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
检测模块，用于利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
如图1所示，本实施例2中，利用上述的肺结节检测系统，实现了肺结节检测方法，该方法包括：
使用获取模块获取待检测的肺部CT扫描图像。如CT图像扫描装置扫描的CT图像传输给处理模块。
使用处理模块对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
使用检测模块，利用其中训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果。所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
本实施例2中，训练所述检测模型包括：
步骤1：对原始强化肺部CT扫描图像进行重采样、归一化以及对掩码进行膨胀操作，提取肺部区域，并进行肺结节位置和区域的标注，得到训练集。
本实施例2中，对于获取训练集，首先要对原始数据进行预处理。
数据预处理的目的，是将原始强化CT图像中的肺部区域进行提取，从而为后续步骤的开展创造条件。数据预处理包括重采样、归一化、对掩码进行膨胀操作三个步骤，具体包括：
(a1)加载原始CT数据和数据掩码，原始CT数据用mhd和raw格式来存储，mhd是该CT图像相关参数，raw文件中给出的是CT的x射线衰减值，单位为HU。本实施例2使用的LUNA16数据集已经将原始数据处理成HU值，可以直接进行下一步操作。数据掩码是与CT图像同样大小的三维图像，区别是LUNA16掩码只有3、4两种值。
(a2)由于人体每个组织都有特定的HU范围，而肺的HU值在-500左右，因此，只保留HU值在[-1200,600]内的区域，HU值不在这个范围的区域与肺部疾病无关通过阈值化的方式将原始数据生成掩模图像Mask，这里阈值化采取-600，这样水、空气基本过滤掉，剩下的部分进行膨胀处理，除去肺部小空洞。
(a3)将所有体素的值截取到[-1200,600]这个范围，小于-1200的设为-1200，大于600的设为600，然后再归一化至[0,255]。
(a4)由于每个扫描面的像素区间是不同的，所以需要对其原始数据进行重采样，将其映射到同一分辨率。最后删除背景区域，分割出肺实质，将预处理后的数据和标签用数据特定格式.npy格式存储。
步骤2：基于训练集对构建的基础网络进行训练，结合损失函数，使用SGD优化算法，对基础网络参数进行优化，直至输出的预测值与真实值之间的差异最小，得到训练好的检测模型。
本实施例2中，构建的所述基础网络，以3D Resnet18为基础，与U-Net编码器解码器相结合，增加了多尺度特征提取模块，使用不同的卷积核获取不同范围的感受野。
具体的，本实施例2提出的基础网络框架以3D Resnet18为基础，如图2所示。本实施例2中，与类似于U-Net编码器解码器相结合，共包括6个残差块(残差块的架构图如图3所示)、一个全连接层、卷积层、池化层、激活层、归一化层等，增加了多尺度特征提取模块。
本实施例2中，卷积层全部采用3×3×3的卷积核，步长为2。通过设置步长为2，尺寸为2×2×2的最大池化层来实现下采样。在卷积层之间插入了捷径连接来实现残差操作。每一层后面都用Relu激活函数。前向上采样部分由解码器网络和RPN的输出层组成。
特征图经过2个残差块之后进入多尺度特征提取模块，多尺度特征模块由4个大小不同的尺度组成，分别为卷积核1×1×1、3×3×3和5×5×5三个卷积层和一个平均池化层；最后的卷积层采取了概率为0.5的Dropout作为正则化。
本实施例2中，模型的最后一层RPN的输出层，设计了三个锚，锚点在RNP层上的候选边框分别为5mm、10mm、30mm，通过3D区域提案网络后，最终输出结节坐标(x，y，z，d)和置信度评分P。中间连接部分用于融合图像上下文信息，将低层的抽象特征和高层的抽象特征相结合。图3为第一个残差块的连接结构图，其余残差块的结构与之类似。
本实施例2中，构建的基础网络中，加入了多尺度特征提取模块。
卷积神经网络通过逐层的方式来提取目标的特征，其中一个重要的概念就是感受野。如果感受野太小，则只能观察到肺结节局部的特征，如果感受野太大，则获取了过多的无效信息，影响检测效果，因此，在网络中加入多尺度特征提取模块，使用不同的卷积核获取不同范围的感受野，提高检测效果。
为了减轻计算的消耗，提高网络的性能，本实施例2用的多尺度特征检测模块大多采用的是1×1×1和3×3×3的小卷积。其中，1×1×1的卷积可以实现通道数的降维，减少计算量，还可以把在同一个空间位置、不同通道但相关性很高的特征结合起来。而其它尺寸的卷积核，如3×3×3、5×5×5卷积，可以保证相同的感受野的同时减少参数。
如图4所示，本实施例2中，多尺度特征模块由多个大小不同的尺度组成，分别为不同大小卷积核的多个卷积层和一个平均池化层；其中，使用卷积层来检测不同尺寸大小的结节，使用平均池化层来改变输入的特征排列，降低特征图的厚度；将各个尺度获得的特征信息进行融合，并经过归一化与激活函数，形成新的特征图。
多尺度特征模块由4个大小不同的尺度组成，分别为卷积核1×1×1、3×3×3和5×5×5三个卷积层和一个平均池化层。除了第四层的平均池化层外，其他三个尺度在输入肺结节的图像之后会先通过一个1×1×1的卷积来实现通道数的降维，避免每层计算量过大。第一层使用1×1×1的小卷积来检测小尺寸的结节，第二层使用3×3×3的卷积来检测中等大小的结节，第三层使用5×5×5卷积来检测大尺寸的结节。第四层使用平均池化层来改变输入的特征排列，降低特征图的厚度。执行完上述这些步骤后，将各个尺度获得的特征信息进行融合，并经过归一化与激活函数，形成新的特征图。
本实施例2中，采用了LUNA16肺结节检测数据集，数据集中共包含888张低剂量肺部CT图像，由多名具有数年放射科诊断经验的临床医生标注而成，记录了肺结节位置信息和直径大小。本实施例2中所有数据的获取都在负荷法律法规、用户同意的基础之上，对数据的合法应用。
本实施例2中，为了排除实验的偶然性和误差尽可能高的保证实验结果的正确性，同样的实验重复做5次，最终实验结果去取5次实验的平均值。
在训练中，通过随机翻转图像来数据增强，并使用0.75到1.25的比例裁剪，以缓解正负样本不均衡的问题。
对于每一折数据，总共训练150个批次。此外，使用SGD优化算法对模型进行优化，其中随机梯度下降的动量为0.9，权重衰减系数设为0.0001。批处理大小参数受到GPU存储器的限制设置为6。
将预处理后的肺部CT图像带入训练好的3D残差网络进行阳性结节判断。
在测试阶段，使用检测概率阈值-2(在sigmoid函数之前)，然后使用IoU阈值为0.1的NMS(非极大值抑制)。
本实施例2中，模型使用的评估标准如下：
其中，TP代表真阳性的个数，FN代表假阴性的个数，TP+FN即为实际标注的正样本数。
本实施例2中，为了损失函数的计算，首先计算了目标检测任务中的交并比(IoU)。如果产生的锚框与原始标注的框交并比大于0.5，定义这个样本是阳性样本，如果锚框与原始标注的框交并比小于0.02定义为阴性样本。损失函数是用来评价网络模型输出的预测值与真实值之间的差异，损失函数越小说明网络模型的性能越好。损失函数分为回归损失和分类损失。
总体损失定义为:
L＝Lcls+p*Lreg；
其中，p*＝1代表阳性样本，p*＝0代表阴性样本。
本实施例2中，采用焦点损失来计算分类损失Lcls＝-α(1-pt)γlog(pt)，其中，p是正样本的分类输出概率，当是真实类标签y＝1时，pt＝p，其它情况下是pt＝1-p，α是焦点损失的平衡因子，γ是可调的聚焦参数。在本实施例2中，α＝0.5并且γ＝2。
回归损失函数被定义为：Lreg＝∑kS(Gk，Pk)；
其中，S(·)是L1平滑损失函数，其中Gk表示参数化的地面真实值，即：
Pk表示相应参数化的预测值：
其中，(xa,ya,za)是锚的实际空间位置，ra是半径，k是最小尺寸的序号；(xg,yg,zg)是锚的标注的空间位置。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现肺结节检测方法的指令，该方法包括：
获取待检测的肺部CT扫描图像；
对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
实施例4
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的肺结节检测方法，该方法包括：
获取待检测的肺部CT扫描图像；
对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
实施例5
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行如上所述的肺结节检测方法，该方法包括：
获取待检测的肺部CT扫描图像；
对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种肺结节检测方法，其特征在于，包括：
获取待检测的肺部CT扫描图像；
对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签；
训练所述检测模型包括：
对原始强化肺部CT扫描图像进行重采样、归一化以及对掩码进行膨胀操作，提取肺部区域，并进行肺结节位置和区域的标注，得到训练集；
基于训练集对构建的基础网络进行训练，结合损失函数，使用SGD优化算法，对基础网络参数进行优化，直至输出的预测值与真实值之间的差异最小，得到训练好的检测模型；
使用损失函数是来评价网络模型输出的锚框交并比的预测值与真实值之间的差异，损失函数定义为：
L＝Lcls+p*Lreg；
其中，Lcls表示分类损失，Lcls＝-α(1-pt)γlog(pt)，p*＝1代表阳性样本，p*＝0代表阴性样本；p是正样本的分类输出概率，当是真实类标签y＝1时，pt＝p，否则pt＝1-p，α是焦点损失的平衡因子，γ是可调的聚焦参数；Lreg表示回归损失函数；
回归损失函数被定义为：
Lreg＝∑kS(Gk，Pk)；
其中，S(·)是平滑损失函数，Gk表示参数化的真实值，即
Pk表示相应参数化的预测值：
其中，(xa,ya,za)表示锚的实际空间位置，ra表示锚的半径，k表示最小尺寸的序号；(xg,yg,zg)表示锚的标注空间位置。
2.根据权利要求1所述的肺结节检测方法，其特征在于，构建的所述基础网络，以3DResnet18为基础，与U-Net编码器解码器相结合，增加了多尺度特征提取模块，使用不同的卷积核获取不同范围的感受野。
3.根据权利要求2所述的肺结节检测方法，其特征在于，多尺度特征模块由多个大小不同的尺度组成，分别为不同大小卷积核的多个卷积层和一个平均池化层；其中，使用卷积层来检测不同尺寸大小的结节，使用平均池化层来改变输入的特征排列，降低特征图的厚度；将各个尺度获得的特征信息进行融合，并经过归一化与激活函数，形成新的特征图。
4.根据权利要求1所述的肺结节检测方法，其特征在于，使用的评估标准为：
其中，TP代表真阳性的个数，FN代表假阴性的个数，TP+FN即为实际标注的正样本数。
5.一种肺结节检测系统，其特征在于，包括：
获取模块，用于获取待检测的肺部CT扫描图像；
处理模块，用于对获取的进行待检测的肺部CT扫描图像重采样、归一化以及对掩码进行膨胀操作处理；
检测模块，用于利用训练好的检测模型，对处理后的待检测的肺部CT扫描图像进行处理，获取检测结果；所述检测结果包括待检测的肺部CT扫描图像是否存在肺结节，以及肺结节的标定位置和区域大小；
所述训练好的检测模型，为利用训练集训练得到；所述训练集包括多张肺部CT扫描图像，以及标注图像中肺结节位置和区域的标签；
训练所述检测模型包括：
对原始强化肺部CT扫描图像进行重采样、归一化以及对掩码进行膨胀操作，提取肺部区域，并进行肺结节位置和区域的标注，得到训练集；
基于训练集对构建的基础网络进行训练，结合损失函数，使用SGD优化算法，对基础网络参数进行优化，直至输出的预测值与真实值之间的差异最小，得到训练好的检测模型；
使用损失函数是来评价网络模型输出的锚框交并比的预测值与真实值之间的差异，损失函数定义为：
L＝Lcls+p*Lreg；
其中，Lcls表示分类损失，Lcls＝-α(1-pt)γlog(pt)，p*＝1代表阳性样本，p*＝0代表阴性样本；p是正样本的分类输出概率，当是真实类标签y＝1时，pt＝p，否则pt＝1-p，α是焦点损失的平衡因子，γ是可调的聚焦参数；Lreg表示回归损失函数；
回归损失函数被定义为：
Lreg＝∑kS(Gk，Pk)；
其中，S(·)是平滑损失函数，Gk表示参数化的真实值，即
Pk表示相应参数化的预测值：
其中，(xa,ya,za)表示锚的实际空间位置，ra表示锚的半径，k表示最小尺寸的序号；(xg,yg,zg)表示锚的标注空间位置。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-4任一项所述的肺结节检测方法。
7.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行如权利要求1-4任一项所述的肺结节检测方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851565.0A CN113744183B (zh) | 2021-07-27 | 2021-07-27 | 肺结节检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851565.0A CN113744183B (zh) | 2021-07-27 | 2021-07-27 | 肺结节检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744183A CN113744183A (zh) | 2021-12-03 |
| CN113744183B true CN113744183B (zh) | 2024-04-19 |
Family
ID=78729215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110851565.0A Active CN113744183B (zh) | 2021-07-27 | 2021-07-27 | 肺结节检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744183B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114373162B (zh) * | 2021-12-21 | 2023-12-26 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
| CN115358976B (zh) * | 2022-08-10 | 2023-04-07 | 北京医准智能科技有限公司 | 一种图像识别方法、装置、设备及存储介质 |
| CN115439423B (zh) * | 2022-08-22 | 2023-09-12 | 北京医准智能科技有限公司 | 一种基于ct图像的识别方法、装置、设备及存储介质 |
| CN115439686B (zh) * | 2022-08-30 | 2024-01-09 | 一选(浙江)医疗科技有限公司 | 一种基于扫描影像的关注对象检测方法及系统 |
| CN116740041B (zh) * | 2023-06-27 | 2024-04-26 | 新疆生产建设兵团医院 | 基于机器视觉的cta扫描图像分析系统及其方法 |
| CN117012373B (zh) * | 2023-10-07 | 2024-02-23 | 广州市妇女儿童医疗中心 | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446730B (zh) * | 2018-03-16 | 2021-05-28 | 推想医疗科技股份有限公司 | 一种基于深度学习的ct肺结节检测装置 |
-
2021
- 2021-07-27 CN CN202110851565.0A patent/CN113744183B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744183A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113744183B (zh) | 肺结节检测方法及系统 | |
| Wang et al. | Automatically discriminating and localizing COVID-19 from community-acquired pneumonia on chest X-rays | |
| Aggarwal et al. | COVID-19 image classification using deep learning: Advances, challenges and opportunities | |
| US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| Shen et al. | An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy | |
| Hasan et al. | Deep learning based detection and segmentation of COVID-19 & pneumonia on chest X-ray image | |
| Zheng et al. | Machine learning based vesselness measurement for coronary artery segmentation in cardiac CT volumes | |
| Tan et al. | DeepBranch: Deep neural networks for branch point detection in biomedical images | |
| Liu et al. | A CADe system for nodule detection in thoracic CT images based on artificial neural network | |
| CN112529839A (zh) | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 | |
| Jadhav et al. | COVID-view: Diagnosis of COVID-19 using Chest CT | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| Liu et al. | Automated classification and measurement of fetal ultrasound images with attention feature pyramid network | |
| Peng et al. | Cov-TransNet: Dual branch fusion network with transformer for COVID-19 infection segmentation | |
| Zhang et al. | An Algorithm for Automatic Rib Fracture Recognition Combined with nnU‐Net and DenseNet | |
| AU2021100007A4 (en) | Deep Learning Based System for the Detection of COVID-19 Infections | |
| Xue et al. | Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans | |
| CN112381822B (zh) | 一种用于处理肺部病灶区图像的方法和相关产品 | |
| CN111724356B (zh) | 一种用于ct影像肺炎识别的图像处理方法和系统 | |
| CN117953208A (zh) | 一种基于图的边缘注意力门医学影像分割方法及装置 | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| Ji et al. | ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images | |
| Al-Eiadeh | Automatic lung field segmentation using robust deep learning criteria | |
| CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |