CN116934757B - 一种用于肺结节假阳性删减的方法、设备及存储介质 - Google Patents
一种用于肺结节假阳性删减的方法、设备及存储介质 Download PDFInfo
- Publication number
- CN116934757B CN116934757B CN202311199797.8A CN202311199797A CN116934757B CN 116934757 B CN116934757 B CN 116934757B CN 202311199797 A CN202311199797 A CN 202311199797A CN 116934757 B CN116934757 B CN 116934757B
- Authority
- CN
- China
- Prior art keywords
- nodule
- candidate
- image
- false positive
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 154
- 238000013138 pruning Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 238000002591 computed tomography Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000012217 deletion Methods 0.000 abstract description 4
- 230000037430 deletion Effects 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 16
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于肺结节假阳性删减的方法、设备及存储介质，属于医学图像处理技术领域。本发明方法包括：获取原始图像数据信息；提取CT图像的候选结节的肺结节检测结果，并进行追踪融合；制作假阳性删减数据集；构建肺结节假阳性删减网络模型并训练；肺结节假阳性删减测试。本发明还公开了基于该方法的设备及存储介质。本发明根据CT扫描中的影像特点，对检测得到的多个候选结节进行追踪融合，并投影至同一张图像中，充分利用候选结节在多CT图像中分布的空间信息，从图像处理的角度增加了真假结节的对比差异；最后使用残差卷积神经网络模型对处理后的候选结节切片进行分类预测，在不增加参数量的前提下，提高了假阳性删减的准确度。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及一种用于肺结节假阳性删减的方法、设备及存储介质。
背景技术
肺癌是全球范围内最常见的癌症之一，每年造成数百万人死亡。早期发现和治疗肺癌是提高肺癌生存率和减少死亡率的关键。传统肺癌筛查方法包括X射线、磁共振成像和CT（Computed Tomography，即电子计算机断层扫描）扫描等，但这些基于人工判读的方法存在诊断准确性低、辐射剂量高和成本昂贵等问题。因此，许多研究人员开始探索利用深度学习技术进行肺癌筛查和肺结节检测的方法。但是受制于技术条件和影像质量，结节检测精度往往很难满足要求，为了避免结节漏检，就需要推荐相对较多的候选结节，但这也带来了更多假阳性结节的干扰。如果肺结节检测系统误将非结节性病变或伪影识别为肺结节，可能会导致医生给予患者不必要的治疗或手术，从而降低肺癌的治疗成功率和生存率。此外，误诊的结果还可能导致患者产生心理负担和经济负担，影响其生活质量和经济状况。
在当前基于深度学习的假阳结节删减方法中，可以分为二维和三维两类。二维的假阳性删减方法基于候选结节的单张影像进行分类，这种方法很难从单个平面的影像上将结节和其他一些被错误识别为结节的血管、气管等影像准确区分开。三维的假阳性删减方法使用同一候选结节的多张影像，虽然可以提取到候选结节的更多空间特征，但是三维深度学习模型的参数量大，需要更多的计算成本。
发明内容
本发明提供了一种用于肺结节假阳性删减的方法、设备及存储介质，利用候选肺结节在多张电子计算机断层扫描CT图像上的空间信息提取更有利于肺结节分类（真结节/假阳结节）的影像特征，以训练肺结节假阳性删减网络模型，实现对候选结节图像的准确分类，提升肺结节假阳性删减性能。
一方面，本发明提供了一种用于肺结节假阳性删减的方法，具体包括下列步骤：
步骤1，获取CT扫描数据和肺结节类别的人工标注信息，所述肺结节类别包括两类：真结节和假阳结节；
步骤2，对CT扫描数据和肺结节类别的人工标注信息进行数据预处理，得到CT图像以及对应的肺结节类别标签；
步骤3，基于深度学习的图像检测方法对各CT图像进行肺结节检测处理，得到若干个肺结节检测结果，所述肺结节检测结果包括检测框、肺结节类别和置信度分数；
通过调整每张CT图像的置信度阈值，控制同一患者的每张CT图像的候选结节的推荐数量相同；基于置信度阈值从每张CT图像的多个肺结节检测结果中提取出指定数量的候选结节，通过卡尔曼滤波追踪方法融合同一患者在多张CT图像上的同一候选结节的肺结节检测结果，得到融合结果；
步骤4，采用最大密度投影法（Maximum Intensity Projection，MIP）将每个融合结果所对应的候选结节的检测框的图像区域投影到同一张图像上，得到包含多张图像空间信息的候选结节切片图像，并基于融合结果设置各候选结节切片图像的肺结节类别标签；
基于候选结节切片图像和其肺结节类别标签构建肺结节假阳性删减数据集；
步骤5，基于肺结节假阳性删减数据集训练肺结节假阳性删减网络模型，得到训练好的肺结节假阳性删减网络模型，用于对输入的目标对象的候选结节切片图像集进行肺结节分类预测，基于分类预测结果删减候选结节切片图像集中的假阳性候选结节切片图像并输出目标对象的最终候选结节切片图像集。
进一步的，步骤3中，通过卡尔曼滤波追踪方法融合多张CT图像上的同一候选结节的肺结节类别检测结果，得到融合结果具体包括：
定义N表示同一患者的CT图像数量；
对当前患者，随机选取N张CT图像中的一张CT图像上的一个候选结节初始化一个卡尔曼滤波追踪器，得到追踪器Tj，并基于当前选取的候选结节的肺结节检测结果初始化追踪器Tj的最优估计结果，所述最优估计结果包括检测框、肺结节类别和置信度分数，下标j表示追踪器编号；
基于当前追踪器Tj对各CT图像进行候选结节追踪处理：
依次遍历同一患者的N张CT图像中的每一个候选结节，对当前CT图像，基于追踪器Tj的最优估计结果获取追踪器Tj在当前CT图像中的候选结节的预测结果；并计算当前CT图像中的每个候选结节的检测框与当前追踪器Tj的最优估计结果的检测框的中心距离，若该中心距离小于预设的距离阈值，则表示当前候选结节为追踪器Tj在当前CT图像上的匹配候选结节并记录该匹配候选结节；
基于当前CT图像中的匹配候选结节更新追踪器Tj：基于追踪器Tj的预测结果和匹配候选结节的肺结节检测结果的加权更新追踪器Tj的最优估计结果；再基于更新后的追踪器Tj继续对下一张CT图像进行候选结节追踪处理；
若当前CT图像中的各候选结节的检测框与当前追踪器Tj的最优估计结果的检测框的中心距离均大于或等于所述距离阈值，则从非匹配候选结节中随机选取一个重新初始化一个新的追踪器Tj+1，基于该新的追踪器Tj+1对各CT图像进行候选结节追踪处理，直到不存在非匹配候选结节；
基于对每个追踪器的最终的最优估计结果得到每个追踪器的融合结果。
进一步的，步骤5中，所述肺结节假阳性删减网络模型为基于二维残差卷积神经网络模型。
进一步的，步骤5中，所述肺结节假阳性删减网络模型的网络结构依次包括：卷积层、最大池化层、若干个由残差模块堆叠的残差堆叠模块、平均池化层和至少一层的全连接层。
进一步的，所述肺结节假阳性删减网络模型的残差模块依次包括：1×1的卷积层、3×3的卷积层和1×1的卷积层，且残差模块的输入与第二个1×1的卷积层的之间为跳跃连接。
进一步的，步骤5中，训练肺结节假阳性删减网络模型时采用的损失函数为交叉熵损失。
另一方面，本发明提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现上述所述的本发明提供的一种用于肺结节假阳性删减的方法。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现上述所述的本发明提供的一种用于肺结节假阳性删减的方法。
本发明提供的技术方案至少带来如下有益效果：
本发明根据CT扫描中的影像特点，即同一肺结节的影像会分布在多张CT图像中，且影像明亮度呈现由暗到亮，再由亮到暗的变化特征，且相较于血管、支气管的影像，肺结节在连续CT图像中的位置相对不变，再采用卡尔曼滤波追踪方法，对检测得到的多个进行追踪融合，同时使用最大密度投影法将融合裁剪后的候选结节切片投影至同一张2维图像，充分利用了候选结节在多CT图像中分布的空间信息，从图像处理的角度增加了真假结节的对比差异；最后使用2维残差卷积神经网络模型对处理后的候选结节切片进行分类预测，在不增加参数量的前提下，提高假阳性删减的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施的提供的一种用于肺结节假阳性删减的方法的处理流程示意图；
图2为本发明实施例采用的肺结节假阳性删减网络模型的结构示意图；
图3为本发明实施例的假阳删减数据集制作的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供的一种用于肺结节假阳性删减的方法是一种基于二维卷积神经网络、卡尔曼滤波追踪与最大密度投影的肺结节假阳性删减方法，该方法在不增加参数量的前提下，可充分利用多张CT图像上的候选肺结节分布信息，提升肺结节假阳性删减性能。
如图1所示，作为一种可能的实现方式，本发明实施例提供的一种用于肺结节假阳性删减的方法的具体实现步骤包括：
步骤S1，获取原始图像数据信息。
CT扫描数据和肺结节类别（真结节/假阳结节）的人工标注信息；
优选的，本发明实施例中，从公用肺结节数据集LUNA16中获取CT扫描数据和肺结节诊断结果，并基于诊断结果获取肺结节类别人工标注信息。
步骤S2，对原始图像数据进行预处理，即对CT扫描数据和肺结节类别的人工标注信息进行数据预处理，得到CT图像以及对应的肺结节类别标签。
将LUNA16数据集中CT扫描数据为mhd格式（一种常见的医学图像格式），需要将其转换为jpg格式（一种有损画质的图像压缩算法格式）的图像数据。
同时将图像中被标注为结节区域的肺结节类别人工标注信息进行格式转换处理，得到对应的标签格式文件并存储。
本实施例中，对于mhd格式的CT扫描数据，其存储的数值为CT扫描中X射线的衰减值，单位为亨氏（HU）。留下HU值在[-1000:+400]范围内的内容，去除其他与肺结节诊断无关的部分，并将截取后的数据归一化至[0:255]，保存为图像。即筛选指定数据范围（X射线的衰减值的数据范围）内的图像值后再将其转换为灰度图后存储。
步骤S3，提取CT图像的候选结节的肺结节检测结果，并进行追踪融合。
基于深度学习的图像检测方法对各CT图像进行肺结节检测处理，得到若干个肺结节检测结果，所述肺结节检测结果包括检测框、肺结节类别和置信度分数；
通过调整每张CT图像的置信度阈值，控制同一患者的每张CT图像的候选结节的推荐数量为预设值M；基于置信度阈值从每张CT图像的多个肺结节检测结果中提取出M个候选结节的肺结节检测结果；并通过卡尔曼滤波追踪方法融合同一患者在多张CT图像上的同一候选结节的肺结节检测结果，得到融合结果；
本步骤中，是将CT图像输入预置的肺结节检测模型，肺结节检测模型用于输出肺结节检测结果，并基于设定的置信度阈值，筛选出指定数量的候选结节。即筛选出的候选结节的置信度分数不低于置信度阈值，且筛选的候选结节数量控制在所限定的指定数量以内，以控制计算复杂度。
再使用卡尔曼滤波追踪的方法对检测结果进行融合，融合的目的是判断多张CT图像上的候选结节是否为同一结节，并将同一候选结节的检测结果进行融合，得到融合结果并作为该结节最终的检测结果，融合结果内容包括：候选结节的位置、分类、置信度以及候选结节所在的CT图像编号。
步骤S4，制作假阳性删减数据集。
基于步骤S3中的融合结果，裁剪出每个融合结果所对应的候选结节的检测框的图像区域，得到该候选结节的多个肺结节切片，再使用最大密度投影法（MIP）方法将这些肺结节切片上的像素信息投影到同一个图像上，得到包含多张图像空间信息的候选结节切片图像，并基于融合结果设置各候选结节切片图像的肺结节类别标签。再基于候选结节切片图像和其肺结节类别标签构建肺结节假阳性删减数据集。
本实施例中，还包括，对得到的候选结节切片图像进行尺寸归一化处理，例如统一将尺寸调整为224×224。
本实施例中还涉及到对构建的肺结节假阳性删减网络模型的性能检测，因而还涉及到所构建的数据集的数据增强处理等。
根据检测标签将候选结节切片图像按照检测正确与否，分为真结节和假阳结节两类。同时，为了得到足够多的训练数据，本实施例中通过调节肺结节检测模型的置信度阈值，控制真假结节的检测比例为1：3，得到1186个真结节和3558个假阳结节。此外，对真结节进行顺时针旋转90o、180o、270o的数据增强处理，使得真假结节比例接近1：1，达到平衡数据类别的目的。最终，将所有真假结节的候选结节切片图像随机打乱，按照训练：验证：测试为8：1：1的比例对数据增强处理后的数据集进行划分，得到训练数据集、验证数据集合测试数据集。
其中，训练数据集用于训练肺结节假阳性删减网络模型，验证数据集用于验证训练好的肺结节假阳性删减网络模型的复杂程度，测试数据集用于检验最终训练好的肺结节假阳性删减网络模型的预测性能。
步骤S5，构建肺结节假阳性删减网络模型并训练。
基于肺结节假阳性删减数据集训练肺结节假阳性删减网络模型，得到用于CT图像中的各候选结节的图像区域的分类预测的肺结节假阳性删减网络模型。
即基于从肺结节假阳性删减数据集中划分出的训练数据集对肺结节假阳性删减网络模型（优选为基于二维残差卷积神经网络模型），且训练时，可采用交叉熵损失（CrossEntropy Loss, CE Loss）作为模型优化的损失函数，当CE Loss收敛并降至最小的时候，保存该轮模型网络参数，得到训练好的肺结节假阳性删减网络模型。
步骤S6，肺结节假阳性删减测试。
基于训练好的肺结节假阳性删减网络模型的分类预测结果删减CT图像的肺结节检测结果中的假阳性候选结节。即使用训练好的肺结节假阳性删减网络模型对测试集的候选结节切片图像进行分类预测，获取分类预测结果，并删其中的假阳性候选结节，在不增加参数量的前提下，提高假阳性删减的准确度。
作为一种可能的实现方式，本发明实施例中，所述肺结节假阳性删减网络模型的网络结构如图2所示，依次包括：卷积层、最大池化层、若干个由残差模块堆叠的残差堆叠模块、平均池化层和至少一层的全连接层。其中，残差模块依次包括：1×1的卷积层、3×3的卷积层和1×1的卷积层，且残差模块的输入与第二个1×1的卷积层的之间为跳跃连接，即基于残差模块的输入与第二个1×1的卷积层的输出的相加结果得到残差模块的输出。
如图2所示，本实施例中，肺结节假阳性删减网络模型可设置为包括4个残差堆叠模块，按照前向传播的方向，4个残差堆叠模块包括的残差模块数依次设置为：3、4、6和3。且全连接层设置为2层，最后一层全连接层用于输出各肺结节类别的分类概率（即类别置信度概率），基于其中的最大类别置信度概率确定最终的分类预测结果。
本实施例中，可基于ResNet-50（50层的残差神经网络）构建肺结节假阳性删减网络模型，该网络模型利用残差连接的方式，既能兼顾浅层特征的信息，又能避免出现梯度爆炸的问题。本实施例使用大量的真假结节对模型进行训练，并使用交叉熵损失函数来对模型进行优化训练，其表达式如下：
其中，L表示训练时的损失值，N表示样本数量，表示第i个样本的真实标签（即标注的肺结节类别标签），/>表示第i个样本的分类预测结果中的类别标签。
作为一种可能的实现方式，本发明实施例的步骤S3中采用卡尔曼滤波追踪方法融合多张CT图像上的同一候选结节的肺结节类别检测结果的具体流程如下：
S301，将同一病患的多张CT图像输入肺结节检测模型中，获取每张CT图像的若干个肺结节检测结果。
将同一病患的N（N≥1）张CT图像（I0,I2,…,Ii,…,IN-1）输入肺结节检测模型中，其中，Ii表示第i（i=0,…,N-1）张CT图像；基于肺结节检测模型的输出可以得到每张CT图像对应的肺结节检测结果；再基于设置的置信度阈值从多个肺结节检测结果中筛选出一定数量的肺结节检测结果并将其记为Di，每张CT图像的检测结果Di=[d0,d1,…,dm,…,dM-1]，其中dm表示CT图像的第m（m=0,…,N-1）个候选结节，M表示CT图像的候选结节数量；且每个候选结节的位置边界框表示为(Xmin, Xmax, Ymin, Ymax)，其中，Xmin, Xmax, Ymin, Ymax分别表示位置边界框的最左侧坐标、最右侧坐标、最上侧坐标和最下侧坐标。
为了方便卡尔曼滤波追踪的计算，将候选结节的位置边界框(Xmin, Xmax, Ymin,Ymax)形式转换为(x,y,w,h)，转换公式为：
；
；
其中，(x,y)为位置边界框中心坐标，w,h分别为位置边界框宽高，转换后候选结节的肺结节检测结果的形式可以描述为dm=(x, y, w, h, classname, confidence)，其中，classname表示肺结节类别，confidence表示置信度分数。
S302：初始化卡尔曼滤波追踪器。
卡尔曼滤波追踪肺结节的原理主要由两个部分的关键公式构成，一是追踪器生成对应候选结节预测结果时，所用的两个预测公式；二是用于更新当前CT图像上候选结节追踪结果的更新公式。
其中，预测公式具体为：
；
；
,/>；
其中，表示追踪器对当前CT图像上的候选结节的预测结果，/>表示上一张CT图像上候选结节的最优估计结果，即基于上一张匹配上的候选结节所得到的更新后的追踪器的最优估计结果。
表示对预测结果的一个控制量，矩阵A、B分别表示状态转移矩阵和控制输入矩阵。控制量/>、矩阵A、B的矩阵维度取决于所设置的CT图像的候选结节数量M（即候选结节的推荐数），即控制量/>是M维的列向量，矩阵A和矩阵B均为维度为M×M的方阵，即矩阵A的对角线元素取值为1，而矩阵B为全零矩阵。
当前CT图像的检测结果与追踪器的预测结果的协方差可以表示如下：
；
, />；
其中，表示上一CT图像的候选结节的检测结果与追踪器的最优估计结果的协方差（维度为M×M），/>表示卡尔曼滤波追踪器的噪声矩阵，维度为M维的列向量。
更新当前CT图像上候选结节追踪结果的更新公式具体是指，基于当前追踪器的预测结果和当前CT图像的候选结节的检测结果的加权对追踪器的最优估计结果进行更新，具体为：
计算当前CT图像的卡尔曼增益Kk：
；
,/>；
其中，卡尔曼增益Kk用于在生成最优估计结果时控制检测结果与追踪器的预测结果的影响比例，取值为[0,1]，H表示状态观测矩阵，维度为M×M的方阵，R表示检测系统的噪声矩阵，维度为M维的列向量。
基于当前匹配上的检测结果对当前追踪器的最优估计结果进行更新：
；
；
其中，表示基于当前匹配上的候选结节（匹配候选结节）所得到的更新后的追踪器的最优估计结果，/>表示匹配候选结节的检测框属性信息（位置和尺寸）。即该最优估计结果由追踪器的预测结果和肺结节检测模型的检测结果加权构成，这个权值即为卡尔曼增益Kk，Kk越大表示追踪器更信任检测结果。
其中，卡尔曼增益Kk、状态观测矩阵H、协方差Pk之间满足：
；
；
其中，Pk表示当前CT图像的检测结果与追踪器的最优估计结果的协方差，表示M×M的单位矩阵。
S303：计算当前CT图像上的各候选结节的检测框（也可称为边界框）与当前追踪器Tj最优估计结果的检测框的中心距离CD（Center Distance）。
其中，(xt, yt)为追踪器最优估计结果的检测框的中心坐标，(xd, yd)为候选结节的检测框的中心坐标。
S304：如果距离CD小于经验阈值，则说明追踪器匹配上了当前候选结节，该候选结节为追踪器的匹配候选结节；并基于匹配候选结节更新追踪器Tj。本实施例中该经验阈值设置为5。
S305：如果距离CD大于或等于经验阈值，说明追踪器没有匹配上候选结节，则需要初始化新的追踪器Tj+1：从非匹配候选结节中随机选取一个重新初始化一个新的追踪器Tj+1；
S306：当所有的候选结节偶读处理完后，输出最终的融合结果。
作为一种可能的实现方式，本发明实施例中，步骤S4中制作假阳性删减数据集的具体实现流程如图3所示，包括：
S401，将CT图像输入肺结节检测模型，获取检测结果。
处理方式为输入多张连续的CT图像，肺结节检测模型（二维）依次在各张CT图像上获得独立的检测结果。该检测结果包括候选结节的预测框坐标、类别（是否为结节）及对应置信度分数。即基于肺结节检测模型获取候选结节的推荐结果。
本实施例中，为了在融合阶段有更大的处理空间，在进行候选结节推荐的时候，需通过设置置信度阈值，保证每张CT图像都会得到最多4个候选结节推荐结果。
S402，卡尔曼滤波追踪融合多CT图像上的检测结果。
CT扫描在时空上是一个连续变换的过程，在相邻的CT图像上，结节和血管、气管的变化规律存在明显区别。一般而言，肺结节是存在于肺部某个位置的病灶，呈圆形或椭圆形的形态，在相邻的CT图像上，肺结节影像的相对位置变化较为固定。而垂直于扫描方向的血管和气管在某张CT图像虽然呈现出圆形或者椭圆形的影像，但是由于血管和气管本身为长条形，延伸遍布于肺实质中，在相邻的CT图像中，变化的相对位置较结节更大。不管是肺结节还是其他的假阳结节，均可以使用卡尔曼滤波滤波的方法来实现对候选结节目标的追踪，将同一目标分布在不同CT图像的信息融合到一起，实现对多CT图像上检测结果的融合。融合后的结果包括候选结节的位置、分类、置信度以及候选结节所在的CT图像编号。在融合结果的基础上，本发明实施例还通过设置置信度阈值的方式，结合肺结节检测的标签，控制真结节和假阳结节的推荐比例为1:3，即每推荐一个真结节，则会推荐三个假阳结节。
S403，根据融合结果对多张CT图像上的候选结节的图像区域分别进行裁切。
融合后候选结节的位置边界框表示为(Xmin, Xmax, Ymin, Ymax)。根据坐标，裁切出候选结节的图像区域。
S404，采用最大密度投影法（MIP）对各融合结果所对应的多个候选结节的区域进行投影再尺寸归一化，得到候选结节切片图像。
本实施例中，采用用MIP方法对多个候选结节的区域进行投影并将尺寸统一调整到224×224，得到若干候选结节切片图像。
S405，对真结节的候选结节切片图像进行翻转数据增强。
本实施例中，一共获得1186个肺结节和3558个假阳结节的候选结节切片图像。为了保证数据集类别数量平衡的同时，使得假阳性删减网络能够对不同角度的结节的候选结节切片图像进行准确识别分类，需要对候选结节切片图像进行旋转数据增强，旋转角度为顺时针90o、180o和270o，最终得到3558个肺结节和3558个假阳结节的候选结节切片图像。
S406，数据集划分。
将所有真假结节的候选结节切片候选结节切片图像随机打乱，按照训练：验证：测试为8：1：1的比例对数据集进行划分。
在示例性实施例中，本发明实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以实现上述任一种用于肺结节假阳性删减的方法。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以实现上述任一种用于肺结节假阳性删减的方法。
在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact DiscRead-Only Memory，CD-ROMD）、磁带和光数据存储设备等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种用于肺结节假阳性删减的方法，其特征在于，包括下列步骤：
步骤1，获取电子计算机断层扫描CT扫描数据和肺结节类别的人工标注信息，所述肺结节类别包括两类：真结节和假阳结节；
步骤2，对CT扫描数据和肺结节类别的人工标注信息进行数据预处理，得到CT图像以及对应的肺结节类别标签；
步骤3，基于深度学习的图像检测方法对各CT图像进行肺结节检测处理，得到若干个肺结节检测结果，所述肺结节检测结果包括检测框、肺结节类别和置信度分数；
通过调整每张CT图像的置信度阈值，控制同一患者的每张CT图像的候选结节的推荐数量为预设值M；基于置信度阈值从每张CT图像的多个肺结节检测结果中提取出M个候选结节的肺检测结果，通过卡尔曼滤波追踪方法融合同一患者在多张CT图像上的同一候选结节的肺结节检测结果，得到融合结果；
步骤4，采用最大密度投影法将每个融合结果所对应的候选结节的检测框的图像区域投影到同一张图像上，得到包含多张图像空间信息的候选结节切片图像，并基于融合结果设置各候选结节切片图像的肺结节类别标签；
基于候选结节切片图像和其肺结节类别标签构建肺结节假阳性删减数据集；
步骤5，基于肺结节假阳性删减数据集训练肺结节假阳性删减网络模型，得到训练好的肺结节假阳性删减网络模型，用于对输入的目标对象的候选结节切片图像集进行肺结节分类预测，基于分类预测结果删减候选结节切片图像集中的假阳性候选结节切片图像并输出目标对象的最终候选结节切片图像集。
2.如权利要求1所述的一种用于肺结节假阳性删减的方法，其特征在于，步骤3中，通过卡尔曼滤波追踪方法融合同一患者在多张CT图像上的同一候选结节的肺结节检测结果，得到融合结果具体包括：
定义N表示同一患者的CT图像数量；
对当前患者，随机选取N张CT图像中的一张CT图像上的一个候选结节初始化一个卡尔曼滤波追踪器，得到追踪器Tj，并基于当前选取的候选结节的肺结节检测结果初始化追踪器Tj的最优估计结果，所述最优估计结果包括检测框、肺结节类别和置信度分数，下标j表示追踪器编号；
基于当前追踪器Tj对各CT图像进行候选结节追踪处理：
依次遍历同一患者的N张CT图像中的每一个候选结节，对当前CT图像，基于追踪器Tj的最优估计结果获取追踪器Tj在当前CT图像中的候选结节的预测结果；并计算当前CT图像中的每个候选结节的检测框与当前追踪器Tj的最优估计结果的检测框的中心距离，若该中心距离小于预设的距离阈值，则表示当前候选结节为追踪器Tj在当前CT图像上的匹配候选结节并记录该匹配候选结节；
基于当前CT图像中的匹配候选结节更新追踪器Tj：基于追踪器Tj的预测结果和匹配候选结节的肺结节检测结果的加权更新追踪器Tj的最优估计结果；再基于更新后的追踪器Tj继续对下一张CT图像进行候选结节追踪处理；
若当前CT图像中的各候选结节的检测框与当前追踪器Tj的最优估计结果的检测框的中心距离均大于或等于所述距离阈值，则从非匹配候选结节中随机选取一个重新初始化一个新的追踪器Tj+1，基于该新的追踪器Tj+1对各CT图像进行候选结节追踪处理，直到不存在非匹配候选结节；
基于对每个追踪器的最终的最优估计结果得到每个追踪器的融合结果。
3.如权利要求1所述的一种用于肺结节假阳性删减的方法，其特征在于，步骤5中，所述肺结节假阳性删减网络模型为基于二维残差卷积神经网络模型。
4.如权利要求3所述的一种用于肺结节假阳性删减的方法，其特征在于，步骤5中，所述肺结节假阳性删减网络模型的网络结构依次包括：卷积层、最大池化层、若干个由残差模块堆叠的残差堆叠模块、平均池化层和至少一层的全连接层。
5.如权利要求4所述的一种用于肺结节假阳性删减的方法，其特征在于，所述肺结节假阳性删减网络模型的残差模块依次包括：1×1的卷积层、3×3的卷积层和1×1的卷积层，且残差模块的输入与第二个1×1的卷积层的之间为跳跃连接。
6.如权利要求1所述的一种用于肺结节假阳性删减的方法，其特征在于，步骤5中，训练肺结节假阳性删减网络模型时采用的损失函数为交叉熵损失。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至6任一所述的用于肺结节假阳性删减的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至6任一所述的用于肺结节假阳性删减的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311199797.8A CN116934757B (zh) | 2023-09-18 | 2023-09-18 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311199797.8A CN116934757B (zh) | 2023-09-18 | 2023-09-18 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116934757A CN116934757A (zh) | 2023-10-24 |
| CN116934757B true CN116934757B (zh) | 2023-11-21 |
Family
ID=88377547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311199797.8A Active CN116934757B (zh) | 2023-09-18 | 2023-09-18 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934757B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN110610472A (zh) * | 2018-06-16 | 2019-12-24 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN110958854A (zh) * | 2017-05-24 | 2020-04-03 | 生物质子股份有限公司 | 用于评估具有指定对比度机制的结构空间频率的选择性采样 |
| CN111768845A (zh) * | 2020-06-30 | 2020-10-13 | 重庆大学 | 一种基于最优多尺度感知的肺结节辅助检测方法 |
| CN111784638A (zh) * | 2020-06-04 | 2020-10-16 | 广东省智能制造研究所 | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 |
| CN112634333A (zh) * | 2020-12-30 | 2021-04-09 | 武汉卓目科技有限公司 | 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 |
| CN113520416A (zh) * | 2020-04-21 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 一种用于生成对象二维图像的方法和系统 |
| CN114187467A (zh) * | 2021-11-11 | 2022-03-15 | 电子科技大学 | 基于cnn模型的肺结节良恶性分类方法及装置 |
| WO2022063199A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
| CN114724059A (zh) * | 2022-03-14 | 2022-07-08 | 南京邮电大学 | 一种二次关联低分检测框的链式多目标跟踪方法 |
| CN116721414A (zh) * | 2023-05-05 | 2023-09-08 | 余姚市机器人研究中心 | 一种医学图像细胞分割与跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017205373A1 (en) * | 2016-05-23 | 2017-11-30 | Lx Medical Corporation | METHOD AND SYSTEM FOR lMAGE-GUIDED PROCEDURES |
-
2023
- 2023-09-18 CN CN202311199797.8A patent/CN116934757B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110958854A (zh) * | 2017-05-24 | 2020-04-03 | 生物质子股份有限公司 | 用于评估具有指定对比度机制的结构空间频率的选择性采样 |
| CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
| CN110610472A (zh) * | 2018-06-16 | 2019-12-24 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN113520416A (zh) * | 2020-04-21 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 一种用于生成对象二维图像的方法和系统 |
| CN111784638A (zh) * | 2020-06-04 | 2020-10-16 | 广东省智能制造研究所 | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 |
| CN111768845A (zh) * | 2020-06-30 | 2020-10-13 | 重庆大学 | 一种基于最优多尺度感知的肺结节辅助检测方法 |
| WO2022063199A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
| CN112634333A (zh) * | 2020-12-30 | 2021-04-09 | 武汉卓目科技有限公司 | 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 |
| CN114187467A (zh) * | 2021-11-11 | 2022-03-15 | 电子科技大学 | 基于cnn模型的肺结节良恶性分类方法及装置 |
| CN114724059A (zh) * | 2022-03-14 | 2022-07-08 | 南京邮电大学 | 一种二次关联低分检测框的链式多目标跟踪方法 |
| CN116721414A (zh) * | 2023-05-05 | 2023-09-08 | 余姚市机器人研究中心 | 一种医学图像细胞分割与跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| Automatic lung nodule graph cuts segmentation with deep learning false positive reduction;Wenqing Sun等;《Proc. of SPIE》;101343M1-8 * |
| Multilevel Contextual 3-D CNNs for False Positive Reduction in Pulmonary Nodule Detection;Qi Dou等;《IEEE Transactions on Biomedical Engineering》;第64卷(第7期);1558-1567 * |
| 基于MSCT的冠脉血管快速增强和斑块检测方法研究;王丽瑶;《中国优秀硕士学位论文全文数据库_医药卫生科技辑》;E062-32 * |
| 基于卷积神经网络的CT图像肺结节检测研究;傅寰宇;《中国优秀硕士学位论文全文数据库_医药卫生科技辑》;E072-113 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116934757A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3770850B1 (en) | Medical image identifying method, model training method, and computer device | |
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| CN111899245B (zh) | 图像分割、模型的训练方法及装置，电子设备及存储介质 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Halder et al. | Lung nodule detection from feature engineering to deep learning in thoracic CT images: a comprehensive review | |
| Yun et al. | Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| El-Regaily et al. | Survey of computer aided detection systems for lung cancer in computed tomography | |
| Li et al. | Attention-guided convolutional neural network for detecting pneumonia on chest x-rays | |
| US6654728B1 (en) | Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images | |
| Ashwin et al. | Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system | |
| CN112750117B (zh) | 一种基于卷积神经网络的血液细胞图像检测与计数方法 | |
| CN111899244B (zh) | 图像分割、网络模型的训练方法及装置，及电子设备 | |
| Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
| US11854190B2 (en) | Similarity determination apparatus, similarity determination method, and similarity determination program | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN115131280A (zh) | 一种融合注意力机制的改进YOLO v4肺结节检测方法 | |
| CN110533120B (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
| Chilakala et al. | Optimal deep belief network with opposition‐based hybrid grasshopper and honeybee optimization algorithm for lung cancer classification: A DBNGHHB approach | |
| CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
| Cifci | SegChaNet: a novel model for lung cancer segmentation in CT scans | |
| CN114581698A (zh) | 一种基于空间交叉注意力机制特征融合的目标分类方法 | |
| US11521323B2 (en) | Systems and methods for generating bullseye plots | |
| Silva et al. | The impact of interstitial diseases patterns on lung CT segmentation | |
| CN115631387B (zh) | 基于图卷积神经网络的肺癌病理高危因素预测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |