CN112241948A - 一种自适应层厚的肺结节检测分析方法及系统 - Google Patents
一种自适应层厚的肺结节检测分析方法及系统 Download PDFInfo
- Publication number
- CN112241948A CN112241948A CN202011008757.7A CN202011008757A CN112241948A CN 112241948 A CN112241948 A CN 112241948A CN 202011008757 A CN202011008757 A CN 202011008757A CN 112241948 A CN112241948 A CN 112241948A
- Authority
- CN
- China
- Prior art keywords
- nodule
- lung
- image
- model
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 90
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 210000004072 lung Anatomy 0.000 claims abstract description 90
- 230000011218 segmentation Effects 0.000 claims abstract description 85
- 238000013135 deep learning Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 230000003211 malignant effect Effects 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 13
- 210000003437 trachea Anatomy 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 4
- 239000005337 ground glass Substances 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 104
- 239000010410 layer Substances 0.000 description 71
- 206010054107 Nodule Diseases 0.000 description 32
- 210000003484 anatomy Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 239000002356 single layer Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000027790 Rib fracture Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医疗技术领域，尤其是涉及一种自适应层厚的肺结节检测分析方法及系统，该方法包括如下步骤：读取肺部的CT图像，根据CT图像中每一层面的厚度确定目标深度学习网络模型；训练目标深度学习网络模型，将测试的CT图像输入至肺结节分割及检出模型，得到第一阶段的初始肺结节检测结果；利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果。本发明实施例提供的基于深度学习的结节检测方法和系统，根据CT图像中每一层面的厚度特点分别选取3D和2D的二阶段深度学习神经网络模型，能够更好的利用不同层厚CT图像的图像特征，从而实现对各种层厚数据的精确检测和分割。
Description
技术领域
本发明涉及医疗技术领域，尤其是涉及一种自适应层厚的肺结节检测分析方法及系统。
背景技术
对于肺结节检测问题，传统方法通过形态学分割算法及手动特征提取算法等对肺结节进行检测和分割，但受不同结节形状，密度的影响，其检测分割精度无法达到临床使用的需求。
如专利CN102842132B，提出了一种CT肺结节检测方法，该方案首先使用边缘检测及对球状及现状增强滤波器增强结节及血管区域，再使用阈值分割得到初始候选结节图像。对于初始结节图像计算3D及2D特征，例如形状、灰度、曲率、偏心率，傅里叶描述子等，根据特征进行分类筛选。得到最终结节检测结果。
近年来，深度学习技术逐渐被应用于肺结节检测中，算法多基于单一深度学习的检测模型，将结节位置框选出来。如专利CN108446730A，提出了一种基于深度学习的CT肺结节检测方法，该方案对肺部电子计算机断层扫描(CT)图像中每一层图像，选取其前后各n层图像输入到构建的2n+1通道的多尺度2D卷积深度学习网络结构中，并通过区域生成网络(RPN)得到候选框，再通过分类模块得到最终的结节检测结果。
由于CT图像的拍摄层厚度差异较大，范围在不到一毫米至十几毫米之间，其图像特征也会有较大的差异。深度学习算法的本质是自动寻找可以利用的高维度图像特征来进行检测或分割，因此当图像特征差异较大时，使用单一的结节检测模型就无法保证对所有CT图像的检测分割精度。所以对于CT图像拍摄层厚差异较大的情况下，无法同时保证对薄层CT图像和厚层CT图像都有比较高的检测精度。
发明内容
针对上述技术问题，本发明实施例提供了一种自适应层厚的分析方法及系统，以解决传统CT图像在厚度差异较大时，无法保证检测精确度的一种或者多种问题。
本发明实施例的第一方面提供一种自适应层厚的肺结节检测分析方法，包括如下步骤：读取肺部的CT图像，根据所述CT图像中每一层面的厚度确定目标深度学习网络模型；将所述CT图像作为输入，标注的所述CT图像中肺结节位置作为输出，训练目标深度学习网络模型，从而得到训练好的肺结节分割及检出模型；将测试的CT图像输入至所述肺结节分割及检出模型，得到第一阶段的初始肺结节检测结果；对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果。
可选地，所述根据所述CT图像中每一层面的厚度确定目标深度学习网络模型，包括：确定所述CT图像中每一层面的厚度；判断每一层面的厚度是否大于预设厚度，如果小于预设厚度选取第一阶段为3D的神经网络模型作为目标深度学习模型；如果大于所述预设厚度则选取第一阶段为2D的神经网络模型作为目标深度学习模型。
可选地，所述利用基于深度学习的3D深度学习分类器去除假阳性肺结节，具体包括：利用所述肺结节分割及检出模型，分割得到结节掩膜，根据所述结节掩膜计算结节直径；根据所述结节直径，选择不同的阈值和概率选取策略去除所述假阳性肺结节。
可选地，所述方法还包括：以所述CT图像中肺结节的三维中心点为中心截取序列的三维图像块；将所述三维图像块作为输入，标注的所述CT图像中不同肺结节的类型作为输出，训练三维四分类卷积神经网络模型，得到训练好的结节亚类分类模型；将所述肺结节分割及检出模型输出的结节图像，输入至所述结节亚类分类模型，得到不同类型结节的预测概率；选取概率最高的类别作为肺结节的结节亚类类型。
可选地，所述结节亚类类型包括：磨玻璃、实性、亚实性和钙化。
可选地，，所述方法还包括：将所述CT图像中，在结节中心层以结节中心点为中心截取二维图像；将所述二维图像作为输入，标注的所述CT图像中不同肺结节良恶性等级作为输出，训练二维四分类卷积神经网络模型，得到训练好的结节良恶性分类模型；将所述肺结节分割及检出模型输出的结节图像，输入至所述结节良恶性分类模型，得到不同良恶性等级的结节的预测概率；选取概率最高的等级作为该结节的良恶性等级。
可选地，所述方法还包括：将所述三维图像块作为输入，标注的所述三维图像块中各个肺叶和肺段作为输出，训练卷积神经网络模型，得到训练好的结节解剖学位置判断模型；将所述肺结节分割及检出模型输出的结节图像，输入至所述结节解剖学位置判断模型，得到不同肺段的预测概率；选取概率最高的肺段作为输出结果。
可选地，所述结节解剖学位置判断模型训练时，包括以下两个阶段：一阶段：将所述三维图像块作为输入，标记的各个类别的肺叶作为输出，构建初始网络；二阶段：将构建的所述初始网络的输出作为输入，标记的各个肺叶位置和肺段的气管位置作为输出，得到最终的结节解剖学位置判断模型。
可选地，在训练所述结节解剖学位置判断模型时，损失函数由肺叶分割结果和肺间裂分割结果加权得到。
本发明实施例的第二方面提供一种自适应层厚的肺结节检测分析系统，其特征在于，包括：肺结节分割及检出模块，用于在CT图像输入至所述肺结节分割及检出模型后，得到第一阶段的初始肺结节检测结果；对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果；结节亚类分类模块，用于对所述CT图像中的结节进行亚类分类；结节良恶性分类模块，用于对所述CT图像中的结节进行良恶性分类；结节解剖学位置判断模块，用于判断所述CT图像中结节的解剖学位置。
本发明实施例提供的基于深度学习的结节检测方法和系统，根据CT图像中每一层面的厚度特点分别选取3D和2D的二阶段深度学习神经网络模型，能够更好的利用不同层厚CT图像的图像特征，比如薄层图像不同层之间的连续性，而厚层数据在单层图像上更明显的结节特征等，从而实现对各种层厚数据的精确检测和分割。同时，本发明实施例并在此基础上提供了一套完整的肺结节检测，分割，解剖学位置分析及特征分析的方法，为临床提供更加丰富的结节信息。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例的基于深度学习的结节检测方法的流程图；
图2是本发明实施例提供的构建类似Vnet的网络结构的示意图；
图3是本发明实施例提供的构建类似Unet的网络结构的示意图；
图4是本发明实施例提供的基于深度学习的结节检测系统的结构框图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明首先提供一种自适应层厚的肺结节检测分析方法，请参阅图1，所述方法包括以下步骤，
步骤101、读取肺部的CT图像，根据CT图像中每一层面的厚度确定目标深度学习网络模型。
由于肺部的CT影像在拍摄时，层厚差异一般在不到一毫米至十几毫米之间，其层厚差异较大，对于厚层图像和薄层图像提取的图像特征也会有较大的差异，比如薄层图像在不同层之间连续性好，而厚层图像在单层图像上更明显的结节特征等。因此，当图像特征差异较大时，使用传统的单一的结节检测模型就无法保证对所有CT图像的检测分割精度，即无法同时保证对薄层CT图像和厚层CT图像都有比较高的检测精度。
此步骤即在读取到肺部的CT图像之后，首先使用阈值及形态学方法进行肺部分割，得到肺框内的图像，然后判断图像的层厚，并根据CT图像中每一层面的不同厚度选择不同的目标深度学习网络模型，在不同的目标深度学习网络模型，算法结构不同，这样可以更好的利用不同层厚中CT图像的图像特征。
根据CT图像中每一层面的厚度确定目标深度学习网络模型，具体包括如下步骤：
1、确定CT图像中每一层面的厚度；
2、判断每一层面的厚度是否大于预设厚度，如果小于预设厚度选取3D神经网络模型作为目标深度学习模型；如果大于预设厚度则选取2D神经网络模型作为目标深度学习模型。
在本发明实施例中，预设厚度可以根据实际对图像特征的需求进行选择。在本发明实施例中，预设厚度可以为3mm，即当该张CT图像的层厚小于3mm时，被确认为是薄层CT图像，当该张CT图像的层厚大于3mm时，被确认为是厚层CT图像。
步骤102、将CT图像作为输入，标注的CT图像中肺结节位置作为输出，训练目标深度学习网络模型，从而得到训练好的肺结节分割及检出模型。
在训练目标深度学习网络模型之前，需段首先构建一个包含肺部的CT图像，数据量在3000例CT数据左右，该CT图像中的包含完整肺部的CT图像，大部分为胸部CT图像，少量可以为胸腹部或头胸部或全身CT图像。医生同时对该训练集的CT图像中，肺结节位置及掩膜进行标注。以将训练集中的CT图像作为输入，标注的CT图像中肺结节位置作为输出，训练目标深度学习网络模型，从而得到训练好的肺结节分割及检出模型。
在本发明实施例中，薄层CT图像选取的是3D神经网络模型作为目标深度学习模型；厚层CT图像则选取2D神经网络模型作为目标深度学习模型。此步骤的目标深度学习网络模型用于实现CT图像的分割及检出。
对于薄层CT图像来说，单张CT图像上的特征信息有限，容易和血管等混淆，需要使用立体的图像信息，因此在第一阶段选用3D卷积神经网络来实现对肺结节的检测和分割。
本发明实施例对于薄层CT图像，在第一阶段具体采用3D-Unet网络模型进行训练。其使用肺结节分割标注的数据训练一个分割模型，网络通过三个下采样层提取图像的轮廓特征，然后通过三个上采样层将特征图像还原到原图的大小，并使用连接层将每个下采样的输出和上采样层的输入连接在一起进行计算，最后一层卷积层输出每个像素点是肺结节的可能性，使用设定阈值截取后对输出的矩阵进行连通域分析得到肺结节的可疑区域以及每个结节的掩膜。
对于厚层CT图像来说，不同层之间图像信息的连续性不足，这种信息的跳变会对检测造成干扰，因此选用2D的卷积神经网络来实现对肺结节的检测和分割。
本发明实施例对于厚层CT图像在第一阶段具体采用2D的实例分割模型Mask R-CNN进行训练。首先在特征提取部分，采用ResNet模型，利用卷积神经网络逐步下采样，然后采用RPN网络提取有效的疑似区域，再对每一个疑似区域进行二分类，判断是否是结节区域，并对区域内结节进行分割。
通过使用不同的检测分割深度学习模型，对厚薄层CT图像均有较好的检测分割精度。
步骤103、将测试的CT图像输入至所述肺结节分割及检出模型，得到第一阶段的初始肺结节检测结果。
仅通过3D神经网络模型或者2D的实例分割模型进行训练得出的肺结节分割及检出模型，在进行肺部CT检测时，得到第一阶段的初始肺结节检测结果仍然会有部分假阳，因此在第二阶段需结合3D的深度学习分类器进行进一步降假阳的操作，从而提高检测的准确度。
步骤104、对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果。
在本发明实施例中，此步骤的第二阶段采用3D-VGG模型训练二分类器，对肺结节分割及检出模型进行阴性输入压制假阳二次训练，来对第一阶段假阳区域进行去除。即通过在阴性CT图像中挖掘假阳感兴趣的图像，然后将假阳图像与前述步骤102的训练集再同时放入第3D-VGG模型训练二分类器训练，得到第二阶段的最终肺结节检测结果。在一些实施例中，在第二阶段降假阳二分类中可以对输入的训练集8倍扩增进行预测，并且对直径大于10mm的候选结节，选取8个预测值中最大的预测概率作为肺结节预测概率,对于直径小于10mm的候选结节，选取8个预测值的平均概率作为肺结节预测概率。
在第二阶段假阳去除算法中，为了更好的提高大结节的检出并且抑制容易造成假阳的小血管区域(小血管较多出现在接近肺壁的区域，血管比较细，在CT图像切上呈现为一个点状，其特征和小结节比较相似)，在一些实施例中，可以根据分割得到结节掩膜来计算结节的直径，并根据结节直径的大小选取不同的阈值以及概率选取策略来过滤假阳。
本发明实施例提供的基于深度学习的结节检测方法，针对层厚不同的CT图像，采用薄层CT图像使用3D模型，厚层CT图像使用2D+3D模型的方法，使用不同的算法结构，提高算法对于不同层厚图像的检出精度，使算法性能更加稳定。
对于肺结节的检测，在临床应用中，医生不仅需要找到肺结节，还需要对结节的形状，类型，解剖位置等信息进行计算和判断，因此仅实现结节的检测是不够的，在一些实施例中，在实现检测的基础上，还可以选择不同的深度学习网络模型基于CT图像实现肺结节的亚类分类、良恶性及具体解剖位置等的判断，在训练过程中，根据训练数据不同类型和数据量的不同，本领域技术人员可以根据实际需求采用随机数据增强的方法对某一类数据的数据量进行调整，从而使训练数据达到平衡，以达到最好的训练效果。以下对上述实现方式一一介绍。
对不同类型的结节进行亚类分类的方法包括如下步骤：
1、以CT图像中肺结节的三维中心点为中心截取序列的三维图像块；
2、将三维图像块作为输入，标注的CT图像中不同肺结节的类型作为输出，训练三维四分类卷积神经网络模型，得到训练好的结节亚类分类模型；
3、将肺结节分割及检出模型输出的结节图像，输入至结节亚类分类模型，得到不同类型结节的预测概率；
4、选取概率最高的类别作为肺结节的结节亚类类型。
在构建的包含肺部的CT图像的训练集中，医生同时对该训练集的CT图像中，肺结节位的4种亚分类进行标注。
结节进行亚类分类首先以CT图像中肺结节的三维中心点为中心截取一个三维的图像块，并使用这些三维的图像块数据作为输入，标注的CT图像中不同肺结节的类型作为输出，训练三维四分类卷积神经网络模型，以实现结节亚类分类模型将结节检出的结节分为磨玻璃，实性，亚实性，钙化4种类型来更好的辅助医生进行诊断。
对结节良恶性分类的方法包括如下步骤：
1、将CT图像中，在结节中心层以结节中心点为中心截取二维图像；
2、将二维图像作为输入，标注的CT图像中不同肺结节良恶性等级作为输出，训练二维四分类卷积神经网络模型，得到训练好的结节良恶性分类模型；
3、将肺结节分割及检出模型输出的结节图像，输入至结节良恶性分类模型，得到不同良恶性等级的结节的预测概率；
4、选取概率最高的等级作为该结节的良恶性等级。
在构建的包含肺部的CT图像的训练集中，医生同时对该训练集的CT图像中，肺结节的4种不同等级的良恶性分类进行标注。
结节进行良恶性分类首先采用2D深度学习Densnet模型对结节良恶性分为良性，偏良性，偏恶性，恶性四个良恶性等级。在结节中心层以结节中心点为中心截取2D图像，输入模型中进行训练，模型输出为结节属于四个良恶性等级的概率值。在预测中，将检测及分割得到的结节图像块输入网络，选取概率最高的等级作为结节的良恶性等级。
对结节进行解剖学判断的方法包括如下步骤：
1、将三维图像块作为输入，标注的三维图像块中各个肺叶和肺段作为输出，训练卷积神经网络模型，得到训练好的结节解剖学位置判断模型；
2、将所结节分割及检出模型输出的结节图像，输入至结节解剖学位置判断模型，得到不同肺段的预测概率；
3、选取概率最高的肺段作为输出结果。
对于结节解剖学位置判断模块需要进行肺部区域的解剖学分割，因此在构建的包含肺部的CT图像的训练集中，需要医生对该训练集的CT图像进行解剖学分割，即将整个肺部划分为各个肺叶和肺段，勾画出各个解剖学区域的轮廓，其数据量在100例CT图像数据左右。
因此，本发明的结节解剖学位置判断模型在训练时，包括以下两个阶段：
一阶段：将三维图像块作为输入，标记的各个类别的肺叶作为输出，构建初始网络；
二阶段：将构建的初始网络的输出作为输入，标记的各个肺叶位置和肺段的气管位置作为输出，得到最终的结节解剖学位置判断模型。
一阶段通过对整个肺部图像进行分割，得到肺框3D图像，然后通过肺框3D图像进行肺叶分割，得到肺叶分割的检测结果。因此，如图2所示，在一阶段首先构建类似Vnet的网络结构，该网络的输入为三维CT图像块，网络的输出有两个，其中一个是与对应的金标准掩膜对比，标记出5个不同类别的肺叶分割的分数图。亦即，5个肺叶的概率图。另一个为标记出肺间裂的分数图，亦即分割出肺间裂的概率图。通过增加肺间裂分割带来的监督信息，让模型更加关注不同肺叶之间的边界位置，能够更好的分割出各个分叶的边缘位置，实现更准确的对肺叶进行分割。
在训练过程中，本发明的损失函数分别由肺叶分割结果和肺间裂分割结果两部分加权得到。由于GPU硬件资源有限，因此可以将待检测的肺框3D图像切割成128*128*64的图像区域进行输入，最后再将多个小区域的肺叶分割结果拼接为整个肺部区域的分割结果。
结节解剖学位置包括结节所在的肺叶和肺段信息，因此，在得到肺叶分割的结果后还需要在第二阶段对CT图像进行进一步详细的解剖位置划分，将肺部划分为18个肺段，并且，由于肺段的位置主要依赖于肺叶的分割结果以及相应气管的位置，因此需要对肺内气管进行分割。
选取第一阶段肺分割后得到的肺框3D图像，选取肺框3D图像的距离肺尖1/3以上的肺部图像，然后将该肺部图像放缩到96*96*96输入到3D-Unet网络中，经过多层卷积神经网络并进行下采样及上采样后，最后使用sigmoid激活函数输出气管的概率图，然后根据阈值得到气管分割的掩膜。
在得到肺叶分割掩膜和气管分割掩膜后，如图3所示，在第二阶段构建一个3D-Unet网络，将肺框3D图像，肺叶分割掩膜，气管分割掩膜合并为多通道图像输入到3D-Unet网络中。经过训练后的3D-Unet网络，可达到18个不同分类的肺段分割的概率图，取每个像素点概率最高的肺段作为该像素的最终结果，最终得到所有肺段的分割结果。
在第一阶段中检测到的肺结节经过分割得到结节掩膜后，计算结节掩膜和每个肺段掩膜之间的重复面积，选取重复面积最大的肺段作为结节的肺分叶及分段结果。在得到结节的肺分叶及分段结果后，还可以根据肺结节的掩膜来计算结节长短径，体积，最大/最小CT值等临床参数。
本发明实施例提供的基于深度学习的结节检测方法，首先根据不同层厚CT图像的特点分别选取3D和2D的二阶段深度学习神经网络模型，能够更好的利用不同层厚CT图像的图像特征，比如薄层图像不同层之间的连续性，而厚层数据在单层图像上更明显的结节特征等，从而实现对各种层厚数据的精确检测和分割。同时，本发明实施例并在此基础上提供了一套完整的肺结节检测，分割，解剖学位置分析及特征分析的方法，为临床提供更加丰富的结节信息。
本发明实施例还提供一种自适应层厚的肺结节检测分析系统。如图4所示，该系统400包括：肺结节分割及检出模块41、结节亚类分类模块42、结节良恶性分类模块43和结节解剖学位置判断模块44。
肺结节分割及检出模块41，用于在CT图像输入至所述肺结节分割及检出模型后，得到第一阶段的初始肺结节检测结果；对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果；
结节亚类分类模块42，用于对所述CT图像中的结节进行亚类分类；
结节良恶性分类模块43，用于对所述CT图像中的结节进行良恶性分类；
结节解剖学位置判断模块44，用于对所述CT图像中的结节进行解剖学位置判断。
基于该系统进行CT图像检测的流程如下：
将CT图像输入到基于深度学习的结节检测系统400后，肺结节分割及检出模块41对CT图像进行检测，首先使用阈值及形态学方法进行肺部分割，得到肺框3D图像，然后判断该图像的层厚，如果层厚小于3mm,那么采用薄层的3D检测和分割模型，如果层厚大于3mm，那么采用厚层的2D检测和分割模型，得到检测和分割的结节结果。
然后分别通过结节良恶性分类模块42、结节良恶性分类模块43以及结节解剖学位置判断模块44对检测和分割的结节结果进行亚类分类，良恶性分类以及得到肺部解剖学结构位置。
在节解剖学位置判断模块通过得到结节的肺分叶及分段结果后，还可以根据肺结节的掩膜来计算结节长短径，体积，最大/最小CT值等临床参数，为临床提供更加丰富的结节信息。
本发明实施例提供的基于深度学习的结节检测系统，首先根据不同层厚CT图像的特点分别选取3D和2D的二阶段深度学习神经网络模型，能够更好的利用不同层厚CT图像的图像特征，比如薄层图像不同层之间的连续性，而厚层数据在单层图像上更明显的结节特征等，从而实现对各种层厚数据的精确检测和分割。同时，本发明实施例并在此基础上提供了一套完整的肺结节检测，分割，解剖学位置分析及特征分析的方法，为临床提供更加丰富的结节信息。
需要说明的是，本发明可同样应用于医疗领域中其他病症的检测,例如肺炎、肋骨骨折等等的检测，凡是运用本发明的算法原理对其他病症的检测均落入本发明的保护范围。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种自适应层厚的肺结节检测分析方法，其特征在于，包括如下步骤：
读取肺部的CT图像，根据所述CT图像中每一层面的厚度确定目标深度学习网络模型；
将所述CT图像作为输入，标注的所述CT图像中肺结节位置作为输出，训练目标深度学习网络模型，从而得到训练好的肺结节分割及检出模型；
将测试的CT图像输入至所述肺结节分割及检出模型，得到第一阶段的初始肺结节检测结果；
对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述CT图像中每一层面的厚度确定目标深度学习网络模型，包括：
确定所述CT图像中每一层面的厚度；
判断每一层面的厚度是否大于预设厚度，如果小于预设厚度选取第一阶段为3D的神经网络模型作为目标深度学习模型；如果大于所述预设厚度则选取第一阶段为2D的神经网络模型作为目标深度学习模型。
3.根据权利要求1所述的方法，其特征在于，所述利用基于深度学习的3D深度学习分类器去除假阳性肺结节，具体包括：
利用所述肺结节分割及检出模型，分割得到结节掩膜，根据所述结节掩膜计算结节直径；
根据所述结节直径，选择不同的阈值和概率选取策略去除所述假阳性肺结节。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
以所述CT图像中肺结节的三维中心点为中心截取序列的三维图像块；
将所述三维图像块作为输入，标注的所述CT图像中不同肺结节的类型作为输出，训练三维四分类卷积神经网络模型，得到训练好的结节亚类分类模型；
将所述肺结节分割及检出模型输出的结节图像，输入至所述结节亚类分类模型，得到不同类型结节的预测概率；
选取概率最高的类别作为肺结节的结节亚类类型。
5.根据权利要求4所述的方法，其特征在于，所述结节亚类类型包括：
磨玻璃、实性、亚实性和钙化。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述CT图像中，在结节中心层以结节中心点为中心截取二维图像；
将所述二维图像作为输入，标注的所述CT图像中不同肺结节良恶性等级作为输出，训练二维四分类卷积神经网络模型，得到训练好的结节良恶性分类模型；
将所述肺结节分割及检出模型输出的结节图像，输入至所述结节良恶性分类模型，得到不同良恶性等级的结节的预测概率；
选取概率最高的等级作为该结节的良恶性等级。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述三维图像块作为输入，标注的所述三维图像块中各个肺叶和肺段作为输出，训练卷积神经网络模型，得到训练好的结节解剖学位置判断模型；
将所述肺结节分割及检出模型输出的结节图像，输入至所述结节解剖学位置判断模型，得到不同肺段的预测概率；
选取概率最高的肺段作为输出结果。
8.根据权利要求7所述的方法，其特征在于，所述结节解剖学位置判断模型训练时，包括以下两个阶段：
一阶段：将所述三维图像块作为输入，标记的各个类别的肺叶作为输出，构建初始网络；
二阶段：将构建的所述初始网络的输出作为输入，标记的各个肺叶位置和肺段的气管位置作为输出，得到最终的结节解剖学位置判断模型。
9.根据权利要求8所述的方法，其特征在于，在训练所述结节解剖学位置判断模型时，损失函数由肺叶分割结果和肺间裂分割结果加权得到。
10.一种自适应层厚的肺结节检测分析系统，其特征在于，包括：
肺结节分割及检出模块，用于在CT图像输入至所述肺结节分割及检出模型后，得到第一阶段的初始肺结节检测结果；对于第一阶段的初始肺结节检测结果，利用基于深度学习的3D深度学习分类器去除假阳性肺结节，得到第二阶段的最终肺结节检测结果；
结节亚类分类模块，用于对所述CT图像中的结节进行亚类分类；
结节良恶性分类模块，用于对所述CT图像中的结节进行良恶性分类；
结节解剖学位置判断模块，用于判断所述CT图像中结节的解剖学位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008757.7A CN112241948A (zh) | 2020-09-23 | 2020-09-23 | 一种自适应层厚的肺结节检测分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008757.7A CN112241948A (zh) | 2020-09-23 | 2020-09-23 | 一种自适应层厚的肺结节检测分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241948A true CN112241948A (zh) | 2021-01-19 |
Family
ID=74171224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008757.7A Pending CN112241948A (zh) | 2020-09-23 | 2020-09-23 | 一种自适应层厚的肺结节检测分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241948A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836744A (zh) * | 2021-02-02 | 2021-05-25 | 北京小白世纪网络科技有限公司 | 一种基于ct切片的多模型假阳衰减的疾病分类方法及装置 |
| CN113288346A (zh) * | 2021-05-20 | 2021-08-24 | 陈磊峰 | 一种用于治疗肝癌的定位切除装置 |
| CN113658657A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种深度网络和光流机制结合的肺结节检测方法及装置 |
| CN115272206A (zh) * | 2022-07-18 | 2022-11-01 | 深圳市医未医疗科技有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
| CN115294401A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
| WO2023119666A1 (ja) * | 2021-12-24 | 2023-06-29 | 富士通株式会社 | 医用画像処理プログラム，医用画像処理方法および情報処理装置 |
| CN116797596A (zh) * | 2023-08-17 | 2023-09-22 | 杭州健培科技有限公司 | 一种肺结节所属肺段识别模型和训练方法 |
| CN117392125A (zh) * | 2023-12-08 | 2024-01-12 | 中山大学附属第五医院 | 基于深度卷积神经网络的乳腺超声图像分析方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360495A (zh) * | 2011-10-19 | 2012-02-22 | 西安电子科技大学 | 基于平均密度投影和平移高斯模型的肺结节分割方法 |
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
| CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
| WO2019200753A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 病变监测方法、装置、计算机设备和存储介质 |
| CN110517253A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于3d多目标特征学习的肺结节良恶性分类的方法 |
-
2020
- 2020-09-23 CN CN202011008757.7A patent/CN112241948A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360495A (zh) * | 2011-10-19 | 2012-02-22 | 西安电子科技大学 | 基于平均密度投影和平移高斯模型的肺结节分割方法 |
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
| WO2019200753A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 病变监测方法、装置、计算机设备和存储介质 |
| CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
| CN110517253A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于3d多目标特征学习的肺结节良恶性分类的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 闫澍;施生根;刘子健;汤楚华;师艳伟;: "应用牙颌模型扫描和CT扫描技术构建咀嚼黏膜的三维模型", 口腔颌面修复学杂志, no. 05, 10 September 2018 (2018-09-10) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836744A (zh) * | 2021-02-02 | 2021-05-25 | 北京小白世纪网络科技有限公司 | 一种基于ct切片的多模型假阳衰减的疾病分类方法及装置 |
| CN113288346A (zh) * | 2021-05-20 | 2021-08-24 | 陈磊峰 | 一种用于治疗肝癌的定位切除装置 |
| CN113288346B (zh) * | 2021-05-20 | 2023-12-29 | 博思研生物技术(苏州)有限公司 | 一种用于治疗肝癌的定位切除装置 |
| CN113658657A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种深度网络和光流机制结合的肺结节检测方法及装置 |
| WO2023119666A1 (ja) * | 2021-12-24 | 2023-06-29 | 富士通株式会社 | 医用画像処理プログラム，医用画像処理方法および情報処理装置 |
| CN115272206A (zh) * | 2022-07-18 | 2022-11-01 | 深圳市医未医疗科技有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
| CN115294401A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
| CN116797596A (zh) * | 2023-08-17 | 2023-09-22 | 杭州健培科技有限公司 | 一种肺结节所属肺段识别模型和训练方法 |
| CN116797596B (zh) * | 2023-08-17 | 2023-11-28 | 杭州健培科技有限公司 | 一种肺结节所属肺段识别模型和训练方法 |
| CN117392125A (zh) * | 2023-12-08 | 2024-01-12 | 中山大学附属第五医院 | 基于深度卷积神经网络的乳腺超声图像分析方法和系统 |
| CN117392125B (zh) * | 2023-12-08 | 2024-03-12 | 中山大学附属第五医院 | 基于深度卷积神经网络的乳腺超声图像分析方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112241948A (zh) | 一种自适应层厚的肺结节检测分析方法及系统 | |
| CN109447065B (zh) | 一种乳腺影像识别的方法及装置 | |
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| JP4999163B2 (ja) | 画像処理方法および装置ならびにプログラム | |
| ES2711196T3 (es) | Sistemas y procedimientos para la segmentación y el procesamiento de imágenes de tejidos y extracción de características de estos para tratar, diagnosticar o predecir afecciones médicas | |
| CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| CN112699869A (zh) | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 | |
| CN109816655B (zh) | 基于ct图像的肺结节图像特征检测方法 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN112258461B (zh) | 一种基于卷积神经网络的肺结节检测方法 | |
| CN112070781A (zh) | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 | |
| CN113261012B (zh) | 处理图像的方法、装置及系统 | |
| CN112184684A (zh) | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 | |
| CN111814832A (zh) | 一种目标检测方法、装置及存储介质 | |
| US12089987B2 (en) | Computer based method for classifying a mass of an organ as a cyst | |
| CN116188485A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115908358A (zh) | 一种基于多任务学习的心肌图像分割和分类方法 | |
| CN111028940B (zh) | 肺结节多尺度检测方法、装置、设备及介质 | |
| CN111833321A (zh) | 一种调窗优化增强的颅内出血检测模型及其构建方法 | |
| CN116934743A (zh) | 医学影像肿瘤恶性风险评估方法、系统、设备和存储介质 | |
| JP2006506163A (ja) | 肺結節のコンピュータ支援検出 | |
| CN114332120A (zh) | 图像分割方法、装置、设备及存储介质 | |
| EP4275052A1 (en) | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |