CN115375632A - 基于CenterNet模型的肺结节智能检测系统及方法 - Google Patents
基于CenterNet模型的肺结节智能检测系统及方法 Download PDFInfo
- Publication number
- CN115375632A CN115375632A CN202210937711.6A CN202210937711A CN115375632A CN 115375632 A CN115375632 A CN 115375632A CN 202210937711 A CN202210937711 A CN 202210937711A CN 115375632 A CN115375632 A CN 115375632A
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- model
- nodule
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 10
- 210000004072 lung Anatomy 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 206010054107 Nodule Diseases 0.000 abstract description 25
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 8
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010003598 Atelectasis Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CenterNet模型的肺结节的智能检测系统，该系统包括：导入图像模块、肺结节检测模块、批量处理与显示模块、模型参数调整模块、显示检测识别详细信息模块本发明能够批量处理待检测的CT图像，通过主流的目标检测模块快速、准确定位肺结节，并且进一步对肺结节进行分析以获取大小等信息，极大地方便了用户对患者肺结节图像中肺结节表型性状的分析，模型训练耗时短，最大限度地提高肺结节自动检测与识别准确性和高效性。
Description
技术领域
本发明属于人工智能辅助的智慧医疗领域，特别涉及一种基于CenterNet模型的肺结节智能检测系统及方法。
背景技术
肺癌是全球发病率(11.6％)和死亡率(18.4％)第1位的恶性肿瘤，对肺癌病灶进行早期筛查是降低死亡率的主要方式。肺内孤立小结节(SPN)是指直径在3cm以内的小结节，1cm以内为微结节，通常为小的局部病灶，并伴有肺不张、淋巴结肿大、胸腔积液等早期症状，是肺癌早期病变的影像学征象，孤立性肺结节一般无典型的症状，多为体检发现，影像学表现复杂，在鉴别诊断上有很大的难度，肺癌目前是全球发病率和死亡率最高的癌症,但如果能够在早期及早的发现肺结节,并施以合适的治疗手段,患者一般能够康复。近些年随着生活节奏的增快，压力的增大，肺癌的发病率不断地上升，女性的发病率上升幅度更为显著，所以早发现、早诊断和早治疗是提高生存率的关键。目前每年通过胸片或CT检查发现肺部有结节的人群逐渐增多，亟需早期和准确诊断的新方法。
随着CT设备的提升，高分辨率CT成为了肺结节检查的主要手段，医生通过CT影像进行诊断。但由于肺癌早期肺结节结构复杂,形态多变和随时间演化的不确定性,即使有经验的放射科医师也难以确诊某些病例CT图像中的恶性结节和良性结节，同时图像的大量增多会造成诊断医生的工作量增加，工作一定时间后会造成医生视觉疲劳，并且医生的诊断水平不一，会出现很多肺结节的漏诊和误诊。
且医学图像在拍片和存储的过程中可能导致图像失真,甚至出现伪影和噪声的情况,这些会影响结节的检测精度；其次,肺部CT图像中血管等组织和结节具有相似的形态,这些组织的存在为肺结节检测增加了难度。
随着医疗影像技术越来越成熟,医疗影像数据呈爆炸式增长,人们提出了借助计算机辅助诊断系统,帮助医师提高肺结节诊断的效率和确诊率.在肺结节的良恶性诊断方法中,提取到能全面有效表征肺结节的特征是关键的步骤,之后利用合适的分类技术实现肺结节的良恶性分类.
近几年随着深度学习的高速发展，出现了基于深度学习的病灶分类方法，该方法能够充分利用CT序列影像的病灶局部三维信息以及图像分割方法，对肺结节进行判断以及对各种类型结节进行分类，从而更好地辅助医生提高诊断准确性；提高肺结节的筛查效率，减少假阳性结节。此系统具体包括：信息获取模块、肺部影像采集模块、影像处理模块、中央控制模块、影像分析模块、肺组织分割模块、特征提取模块、筛查模型构建模块、模型训练模块、图像分割模块、肺部结节定性模块、云存储模块、更新显示模块。此外，为进一步提高肺结节检测的精确度和效率，潘子妍等人提出了一种基于多特征融合和XGBoost的肺结节检测模型，其包括：第一步，采用阈值分割与形态学运算得出候选结节区域。第二步，通过基于超分辨率重建的卷积神经网络对第一步得到的候选结节进行特征增强。第三步，采用快速鲁棒特征,灰度共生矩阵,灰度不变矩的提取方法获得候选结节的局部与全局的多种特征,采用词袋模型进行降维并融合。第四步，利用XGBoost-决策树分类模型去除假阳性结节,完成肺结节的检测。但是，这些方法仍有提升的空间，现存的肺结节检测算法分割的假阳率高,分割结果存在丢失肺结节的可能性，且在肺结节检测阶段,结节的二维传统视觉特征难以有效表征结节的空间性质,同时单一特征不能完善全面的表征结节,造成诊断分类精度不理想的情况,导致现存算法很难适应不同形态性质的肺实质。
发明内容
为了解决现有技术的不足，本发明旨在提供一种基于CenterNet模型的肺结节智能检测方法，本方法能自动且高效准确地对肺结节进行检测和识别、训练耗时短、具有良好的可扩展性和鲁棒性。
为了实现上述目的，本发明采用的技术方案如下：
基于CenterNet模型的肺结节智能检测系统，包括以下模块：
导入图像模块，用于从本地文件中选择需要检测和识别的单张CT图像；
肺结节检测模块，系统自动对导入的图像进行肺结节检测和识别，以及肺结节的位置信息处理计算，并保存处理后的图像和结果文件；
批量处理与显示模块，用于从本地文件中选择一个或多个目录下的多张CT图像，系统自动对导入目录下的所有图像进行肺结节的检测和识别，以及肺结节的位置信息处理计算，并显示批量处理后的全部CT图像，保存处理后的全部图像和结果文件；
模型参数调整模块，用于自定义合适的模型参数，包括肺结节最小存在可能性、NMS参数；
显示检测与识别详细信息模块，用于显示检测与识别后的单张CT图像和该图像中每个肺结节位置的详细结果，包括肺结节的尺寸、坐标、数量、所有宽高的中位数。
相应的，本发明还提出了基于CenterNet模型的肺结节智能检测方法，包括如下步骤：
1)将来自导入图像模块的肺结节CT图像分成训练集、验证集、测试集，并分别对训练集和验证进行人工标注肺结节边界框；
2)读取、预处理训练集，使用CenterNet网络结构对CT图像进行特征提取和肺结节位置及边界框预测；
3)结合CenterNet网络结构构建预训练模型，对训练集的全部CT图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型；
4)载入训练后的模型，通过肺结节检测模块对测试集CT图像进行肺结节检测，并将肺结节的位置和边界框标注的实际情况反馈给用户；用户通过检测后的图像即可判断边界框标注的实际情况；
5)通过模型参数调整模块，用户参与参数调整，对测试集进行检测：若用户对肺结节表型性状的检测与识别结果满意，则停止调整参数，计算并得到肺结节尺寸、坐标信息，并由显示检测与识别详细信息模块进行信息显示；若不满意，则用户可以根据需要，调整肺结节目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。
其中，步骤1)具体包括：
11)获取肺部CT图像数据；
12)将肺部CT图像及标注的信息进行整合，并按照用户指定的图像数量比例分为训练集、验证集和测试集；
13)利用标注工具LabelImg，对训练集和验证集部分CT图像中所有肺结节表型性状进行人工标注；
14)生成并保存为对应XML文件，以此获得肺结节的位置及边界框坐标信息。
步骤2)具体包括：
21)读取训练集全部CT图像，根据用户所期望得到的图像目标分辨率对图像尺寸进行调整；
22)将预训练好的CenterNet网络模型、自定义CT图像训练集分别当作源领域和目标领域；
23)采用ResNet50网络结构的主干特征提取网络提取初步特征，得到初步的特征图；
24)对步骤23)中得到的初步的特征图进行上采样来获得高分辨率的特征图；
25)分别通过卷积核大小为3的卷积及卷积核大小为1的卷积来对步骤24)中的高分辨率特征图进行预测，得到预测结果；
26)从步骤25)预测结果中得到对应的热图、宽高特征、目标中心点坐标；
27)每个热图中都包含特征点的种类预测信息，采用逻辑回归作分类器预测每个类别置信度分数，并获取最大阈值的类别即为该边界框真正的类别；
28)对获取的最大阈值的类别的宽高参数及中心参数进行调整，再将这些信息进行堆叠、排序并拼接到一起得到最后的结果，再将结果返回绘制在图片上。
步骤23)中初步的特征图和步骤24)中高分辨率的特征图通道数均是2048。
步骤24)具体包括：
计算每个边界框与ground truth的相似程度，构造一种损失函数，迭代得到最小的，包括以下过程：
计算两个边界框间的交并比IoU，即
其中，Sa和Sb代表两个不同的边界框的面积；公式(1)表明：两个不同边界框的重叠面积越大，预测准确性越高；
其中，Lk为热图损失，
是目标的预测置信度；Yxyc是目标的真实置信度，若是目标则该真实值为1，若不是目标则该值真实值为0；令这里的超参α＝2，β＝4；Lsiz为长宽损失，
为预测的目标的尺寸大小，Sk为真实的目标尺寸大小；Loff为中心点偏移损失，
网络预测的偏移量数值，N为中心点的个数，p为中心点坐标，R为步长，以此为步长将特征图进行放缩；
为放缩后特征图上中心点的坐标值，有
Ldet＝Lk+λsizeLsize+λoffLoff
再通过上试计算得到Ldet的值，Ldet是检测的总损失，它是由热图损失Lk、长宽损失Lsize和Loff中心点偏移损失加权求和得到的，其中λsize＝0.1，λoff＝1；并反复迭代得到最小值。
步骤26)中得到热图大小为128×128，维度为num classes；宽高的特征图大小为128×128，维度为2；目标中心点坐标的特征图大小为128×128，维度为2。
步骤3)具体包括：
31)设置全部训练集的训练所需的迭代轮数为r，一次读入的CT图像数量为q张，其中r≥1，q≥1；
32)将步骤26)得到的加入到损失函数中，计算每轮迭代的网络模型的损失函数值；
33)重复步骤32)，直至得到的损失函数值最小，即保存该模型。
步骤4)中肺结节的边界框标注的实际情况具体有：在模型检测过程中CT图像中的肺结节是否均被边界框框住、一个肺结节周围是否被多个边界框框住、肺结节是否被完整且精确地框住。
本发明具有的有益效果为：
1.本发明通过将自定义的肺结节CT图像集和预训练的CenterNet网络结构进行快速高效地训练模型，根据检测与识别的实际效果让用户参与其中，并进行适当的模型参数调整，提高用户对肺结节位置信息的计算的效率，降低了模型的训练时间，极大地方便了用户对患者身体中的肺结节情况的分析，用户能通过自定义参数功能最大限度地提高肺结节检测与识别准确性和可扩展性。
2.本发明基于该检测与识别方法的检测与识别系统界面设计简洁，操作简易，易于实现，适合各类用户的使用。
附图说明
图1为临床肺部CT影像；
图2中圈出的部分为肺部结节；
图3为本发明肺结节检测与识别结果的肺结节检测界面；
图4为本发明检测系统结果展示界面；
图5为本发明的CenterNet目标检测流程图。
具体实施方式
如图4所示，本发明提供一种基于CenterNet模型的肺结节智能检测系统，包括以下模块：
导入图像模块，用户从本地文件中选择需要检测和识别的单张CT图像。
肺结节检测模块，系统自动对导入的图像进行肺结节检测和识别，以及肺结节的位置信息处理计算，并保存处理后的图像和详细信息结果TXT格式文件。
批量处理与显示模块，用户从本地文件中选择一个或多个目录下的多张CT图像，系统自动对导入目录下的所有图像进行肺结节的检测和识别，以及肺结节的位置信息处理计算，并显示批量处理后的全部CT图像。其中，批量显示结果如图2所示。保存处理后的全部图像和肺结节检测后的详细信息结果为TXT格式文件。
模型参数调整模块，用于用户自定义合适的模型参数，包括肺结节最小存在可能性、NMS参数。
显示检测与识别详细信息模块，用于显示检测与识别后的单张CT图像和该图像中每个肺结节位置的详细结果，包括肺结节的尺寸、坐标、数量、所有宽高的中位数。
相应的，本发明还提出了一种基于CenterNet模型的肺结节智能检测方法，包括如下步骤：
1)将来自导入图像模块的肺结节CT图像分成训练集、验证集、测试集，并分别对训练集和验证集进行人工标注肺结节边界框Bbox。)具体包括：
11)根据需要获取肺部CT图像数据；
12)将肺部CT图像及标注的信息进行整合，并按照用户指定的图像数量比例(比例值可为4:1:1)分为训练集(360张)、验证集(97张)和测试集(93张)；
13)利用标注工具LabelImg，对训练集和验证集部分CT图像中所有肺结节表型性状进行人工标注Bbox；
14)生成并保存为对应XML文件，以此获得肺结节的位置及边界框坐标信息，便于记录每张CT图像的所有肺结节表型性状的Bbox坐标。
2)读取、预处理训练集，采用深度迁移学习，使用CenterNet网络结构对CT图像进行特征提取和肺结节位置及边界框Bbox预测。
常用的目标检测技术分为One-Stage和Two-Stage，Two-Stage即两步走策略，先进行区域推荐，后进行目标分类，此类虽然检测准确性较高，但算法的训练耗时长。而One-Stage即端到端策略，只使用一个网络，其网络训练速度比Two-Stage快很多，且更重要的是能学到物体的泛化特征。本发明采用的CenterNet网络结构是在One-Stage传统结构的基础上，将输入进来的图片划分成不同的区域,每个区域都会有一个特征点,CenterNet网络的预测结果就会判断这个特征点是否有对应的物体，以及物体的种类和置信度，同时还会对特征点进行调整获得物体的中心坐标，回归预测获得物体的宽高.
为了降低计算门槛，提高对肺结节表型性状检测与识别的准确性，本发明结合CenterNet网络结构对密度高、尺寸小的肺结节表型性状进行快速精确检测。具体实现步骤如下：
21)读取训练集全部CT图像，根据用户所期望得到的图像目标分辨率对图像尺寸进行调整。
22)将预训练好的CenterNet网络模型、自定义CT图像训练集分别当作源领域和目标领域。
23)采用ResNet50网络结构的主干特征提取网络提取初步特征，得到初步的特征图(通道数为2048)。
为了降低池化带来的梯度负面效果，CenterNet网络结构摒弃了大部分的池化层，网络几乎全部由卷积神经网络构成，并引入由downsample结构来分辨的Conv Block和Identity Block来进行卷积。
24)对步骤23)中得到的初步的特征图进行上采样(专有名词，卷积操作的一种)来获得高分辨率的特征图(通道数仍然是2048)。Bbox为常用的标记或检测手段，其中Bbox包含目标对象的中心坐标、宽高、目标置信度。具体包括：
计算每个边界框Bbox与ground truth的相似程度(Intersection over Union,IoU)，构造一种损失函数，迭代得到最小的，包括以下过程：
计算两个边界框Bbox间的交并比IoU，即
其中，Sa和Sb代表两个不同的Bbox的面积。公式(1)表明：两个不同Bbox的重叠面积越大，预测准确性越高；一般而言，IoU≥0.5即满足检测。
其中，Lk为热图损失，
是目标的预测置信度；Yxyc是目标的真实置信度，若是目标则该真实值为1，若不是目标则该值真实值为0；令这里的超参α＝2，β＝4；Lsize为长宽损失，
为预测的目标的尺寸大小，Sk为真实的目标尺寸大小；Loff为中心点偏移损失，
网络预测的偏移量数值，N为中心点的个数，p为中心点坐标，R为步长，以此为步长将特征图进行放缩；
为放缩后特征图上中心点的坐标值，有
Ldet＝Lk+λsizeLsize+λoffLoff
再通过上试计算得到Ldet的值，Ldet是检测的总损失，它是由热图损失Lk、长宽损失Lsize和Loff中心点偏移损失加权求和得到的，λsize＝0.1，λoff＝1，并反复迭代得到最小值。
25)分别通过卷积核大小为3的卷积及卷积核大小为1的卷积来对步骤24)中的高分辨率特征图进行预测，得到预测结果。
26)从步骤25)预测结果中得到热图大小为128×128，维度为num classes；宽高的特征图大小为128×128，维度为2；目标中心点坐标的特征图大小为128×128，维度为2。上述参数是卷积得到的特征，并不输出对应值，只是用于最后的回归和分类，最后输出类别和位置信息。
27)每个热图中都包含特征点的种类预测信息，采用逻辑回归作分类器预测每个类别置信度分数，并获取最大阈值的类别即为该边界框真正的类别。
28)对获取的最大阈值的类别的宽高参数及中心参数进行调整，再将这些信息进行堆叠、排序并拼接到一起得到最后的结果，再将结果返回绘制在图片上。
3)结合CenterNet网络结构构建预训练模型，对训练集的全部CT图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型。具体包括：
31)设置全部训练集的训练所需的迭代轮数为r，一次读入的CT图像数量为q张，其中r≥1，q≥1。
32)将步骤26)得到的加入到损失函数中，计算每轮迭代的网络模型的损失函数值。
33)重复步骤32)，直至得到的损失函数值最小，即保存该模型。
4)载入训练后的模型，通过肺结节检测模块对测试集CT图像进行肺结节检测，并将肺结节的位置和边界框Bbox标注的实际情况反馈给用户。
用户通过检测后的图像即可判断边界框标注的实际情况。其中，肺结节表型性状的Bbox标注的实际情况具体有：在模型检测过程中CT图像中的所有肺结节是否均被Bbox框住、一个肺结节周围是否被多个Bbox框住、肺结节是否被完整且精确地框住。
5)通过模型参数调整模块，用户参与参数调整，对测试集进行检测：若用户对肺结节表型性状的检测与识别结果满意，则停止调整参数，计算并得到肺结节尺寸、坐标信息，并由显示检测与识别详细信息模块进行信息显示；若不满意，则用户可以根据需要，调整肺结节目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。
仿真实验：
本发明的方法及系统用仿真实验给予进一步的展示，以从医院实际获取的CT图像进行批量处理。将图片作为用户选择并导入的待检测图像；其中仿真结果如图1和图2所示。
如图3所示的肺结节检测界面中，左上角显示用户从CT图像库中选一幅图像作为待检测图像，在模型参数调整模块中设置肺结节最小存在可能性为25％，NMS为0.35，点击“肺结节检测”，即可在检测与识别系统的显示检测与识别详细信息模块得到该CT图像所有肺结节的检测与识别结果；其中，右上部分为检测与识别后得到每个肺结节的检测边界框，每个边界框上均标注该肺结节的宽高数据，而右下部分为每个肺结节检测后的详细数据，如每个肺结节存在可能性、坐标、尺寸以及该图像中检测到的肺结节总数。图2表示用户提供的全部CT图像进行批量处理后的部分检测与识别结果图。
根据图1和图2所示，本发明的肺结节智能检测与识别方法有较高的准确性和提供较全面的肺结节检测与识别信息。该检测与识别的系统界面设计简洁，操作方便。图4为本发明检测系统结果展示界面；图5为本发明的方法流程图。
本发明能够批量处理待检测的CT图像，通过主流的目标检测模块快速、准确定位肺结节，并且进一步对肺结节进行分析以获取大小等信息，极大地方便了用户对患者肺结节图像中肺结节表型性状的分析，模型训练耗时短，最大限度地提高肺结节自动检测与识别准确性和高效性。
Claims (9)
1.基于CenterNet模型的肺结节智能检测系统，其特征在于：包括以下模块：
导入图像模块，用于从本地文件中选择需要检测和识别的单张CT图像；
肺结节检测模块，系统自动对导入的图像进行肺结节检测和识别，以及肺结节的位置信息处理计算，并保存处理后的图像和结果文件；
批量处理与显示模块，用于从本地文件中选择一个或多个目录下的多张CT图像，系统自动对导入目录下的所有图像进行肺结节的检测和识别，以及肺结节的位置信息处理计算，并显示批量处理后的全部CT图像，保存处理后的全部图像和结果文件；
模型参数调整模块，用于自定义合适的模型参数，包括肺结节最小存在可能性、NMS参数；
显示检测与识别详细信息模块，用于显示检测与识别后的单张CT图像和该图像中每个肺结节位置的详细结果，包括肺结节的尺寸、坐标、数量、所有宽高的中位数。
2.根据权利要求1所述的基于CenterNet模型的肺结节智能检测系统实现的基于CenterNet模型的肺结节智能检测方法，其特征在于：包括如下步骤：
1)将来自导入图像模块的肺结节CT图像分成训练集、验证集、测试集，并分别对训练集和验证进行人工标注肺结节边界框；
2)读取、预处理训练集，使用CenterNet网络结构对CT图像进行特征提取和肺结节位置及边界框预测；
3)结合CenterNet网络结构构建预训练模型，对训练集的全部CT图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型；
4)载入训练后的模型，通过肺结节检测模块对测试集CT图像进行肺结节检测，并将肺结节的位置和边界框标注的实际情况反馈给用户；用户通过检测后的图像即可判断边界框标注的实际情况；
5)通过模型参数调整模块，用户参与参数调整，对测试集进行检测：若用户对肺结节表型性状的检测与识别结果满意，则停止调整参数，计算并得到肺结节尺寸、坐标信息，并由显示检测与识别详细信息模块进行信息显示；若不满意，则用户可以根据需要，调整肺结节目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。
3.根据权利要求2所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤1)具体包括：
11)获取肺部CT图像数据；
12)将肺部CT图像及标注的信息进行整合，并按照用户指定的图像数量比例分为训练集、验证集和测试集；
13)利用标注工具LabelImg，对训练集和验证集部分CT图像中所有肺结节表型性状进行人工标注；
14)生成并保存为对应XML文件，以此获得肺结节的位置及边界框坐标信息。
4.根据权利要求2所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤2)具体包括：
21)读取训练集全部CT图像，根据用户所期望得到的图像目标分辨率对图像尺寸进行调整；
22)将预训练好的CenterNet网络模型、自定义CT图像训练集分别当作源领域和目标领域；
23)采用ResNet50网络结构的主干特征提取网络提取初步特征，得到初步的特征图；
24)对步骤23)中得到的初步的特征图进行上采样来获得高分辨率的特征图；
25)分别通过卷积核大小为3的卷积及卷积核大小为1的卷积来对步骤24)中的高分辨率特征图进行卷积，得到预测结果；
26)从步骤25)预测结果中得到对应的热图、宽高特征、目标中心点坐标；
27)每个热图中都包含特征点的种类预测信息，采用逻辑回归作分类器预测每个类别置信度分数，并获取最大阈值的类别即为该边界框真正的类别；
28)对获取的最大阈值的类别的宽高参数及中心参数进行调整，再将这些信息进行堆叠、排序并拼接到一起得到最后的结果，再将结果返回绘制在图片上。
5.根据权利要求4所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤23)中初步的特征图和步骤24)中高分辨率的特征图通道数均是2048。
6.根据权利要求4所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤24)具体包括：
计算每个边界框与ground truth的相似程度，构造一种损失函数，迭代得到最小的，包括以下过程：
计算两个边界框间的交并比IoU，即
其中，Sa和Sb代表两个不同的边界框的面积；公式(1)表明：两个不同边界框的重叠面积越大，预测准确性越高；
其中，Lk为热图损失，
是目标的预测置信度；Yxyc是目标的真实置信度，若是目标则该真实值为1，若不是目标则该值真实值为0；令这里的超参α＝2，β＝4；Lsize为长宽损失，
为预测的目标的尺寸大小，Sk为真实的目标尺寸大小；Loff为中心点偏移损失,
网络预测的偏移量数值，N为中心点的个数，p为中心点坐标，R为步长，以此为步长将特征图进行放缩；
为放缩后特征图上中心点的坐标值，有
Ldet＝Lk+λsizeLsize+λoffLoff
再通过上试计算得到Ldet的值，Ldet是检测的总损失，它是由热图损失Lk、长宽损失Lsize和Loff中心点偏移损失加权求和得到的，其中λsize＝0.1，λoff＝1；并反复迭代得到最小值。
7.根据权利要求4所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤26)中得到热图大小为128×128，维度为num classes；宽高的特征图大小为128×128，维度为2；目标中心点坐标的特征图大小为128×128，维度为2。
8.根据权利要求4所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤3)具体包括：
31)设置全部训练集的训练所需的迭代轮数为r，一次读入的CT图像数量为q张，其中r≥1，q≥1；
32)将步骤26)得到的加入到损失函数中，计算每轮迭代的网络模型的损失函数值；
33)重复步骤32)，直至得到的损失函数值最小，即保存该模型。
9.根据权利要求2所述的基于CenterNet模型的肺结节智能检测方法，其特征在于：步骤4)中肺结节的边界框标注的实际情况具体有：在模型检测过程中CT图像中的肺结节是否均被边界框框住、一个肺结节周围是否被多个边界框框住、肺结节是否被完整且精确地框住。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210476972 | 2022-05-02 | ||
| CN2022104769722 | 2022-05-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115375632A true CN115375632A (zh) | 2022-11-22 |
Family
ID=84063299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210937711.6A Pending CN115375632A (zh) | 2022-05-02 | 2022-08-05 | 基于CenterNet模型的肺结节智能检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375632A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912212A (zh) * | 2023-07-19 | 2023-10-20 | 河南大学 | 基于yolo-csc模型的肺结节ct图像分析方法 |
-
2022
- 2022-08-05 CN CN202210937711.6A patent/CN115375632A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912212A (zh) * | 2023-07-19 | 2023-10-20 | 河南大学 | 基于yolo-csc模型的肺结节ct图像分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Deep learning-based classification of liver cancer histopathology images using only global labels | |
| CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
| EP1593094B1 (en) | Image analysis for the purpose of assessing cancer | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| US6654728B1 (en) | Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images | |
| CN110942446A (zh) | 一种基于ct影像的肺结节自动检测方法 | |
| CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN110706225B (zh) | 基于人工智能的肿瘤识别系统 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN108010013A (zh) | 一种肺ct图像肺结节检测方法 | |
| CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| Sulam et al. | Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets. | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Jubeen et al. | An automatic breast cancer diagnostic system based on mammographic images using convolutional neural network classifier | |
| CN115375632A (zh) | 基于CenterNet模型的肺结节智能检测系统及方法 | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| CN116228759B (zh) | 肾细胞癌类型的计算机辅助诊断系统及设备 | |
| CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
| Le Minh et al. | Deep feature fusion for breast cancer diagnosis on histopathology images | |
| CN112508057A (zh) | 一种肺结节分类方法、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |