CN114972272A - 一种基于Grad-CAM的新冠肺炎病灶分割方法 - Google Patents
一种基于Grad-CAM的新冠肺炎病灶分割方法 Download PDFInfo
- Publication number
- CN114972272A CN114972272A CN202210617466.0A CN202210617466A CN114972272A CN 114972272 A CN114972272 A CN 114972272A CN 202210617466 A CN202210617466 A CN 202210617466A CN 114972272 A CN114972272 A CN 114972272A
- Authority
- CN
- China
- Prior art keywords
- image
- grad
- cam
- focus
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 title claims abstract description 52
- 230000003902 lesion Effects 0.000 title claims abstract description 36
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 27
- 210000004072 lung Anatomy 0.000 claims abstract description 56
- 238000007781 pre-processing Methods 0.000 claims abstract description 33
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 4
- 238000011049 filling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000000038 chest Anatomy 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000003757 reverse transcription PCR Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于Grad‑CAM的新冠肺炎病灶分割方法，该方法主要内容是：首先对CT图像进行图像常规预处理，再使用以OSTU为核心的图像二值化预处理方法增强肺部病灶和健康区域的对比度，并突出病灶边缘信息；将预处理好的CT图像输入分类卷积神经网络进行训练；在训练好的分类卷积神经网络中调用Grad‑CAM生成用以进行CT图像分类的特征区域定位热力图。最后在热力图中设定分割阈值，并根据阈值得到肺部病灶分割结果。通过本发明可以实现在只有类别标签，没有分割标签的情况下对新冠肺炎病灶的自动分割，从而节省人力，并保证分割结果的客观性。
Description
技术领域
本发明属于新冠肺炎病灶分割领域，尤其涉及一种基于Grad-CAM的新冠肺炎病灶分割方法。
背景技术
由于RT-PCR存在假阴性率较高等缺陷，会延误对疑似病例的准确诊断。作为RT-PCR的重要补充，CT由于具有高空间分辨率，可以发现小的病灶，是一种有效筛查新冠肺炎的放射成像技术。但手工标注肺部病灶繁琐耗时，且具有高度主观性，通常存在个人偏差并受临床经验影响，以及病灶边界呈弥散性的特征，从而导致手工标注的误差较大。利用深度学习的方法在CT图像中自动检测新冠肺炎并分割病灶，可以帮助量化新冠肺炎的严重程度，从而辅助医生更快诊断和治疗。
由于新冠病毒变异较快，不同毒株造成的病理特征和肺部影像学改变有所差异，很难在短时间内快速定位病灶并收集足够的带有标注的数据来训练深度模型；同时当前大多公共新冠肺炎图像数据集只用于病例诊断，极少数提供了分割标签。此外，由于肺部病灶存在阴影和毛玻璃状的特点，导致边界不清晰，因此很难标记弥散性病变；以及手动标注大量数据容易引入噪声标签，影响深度学习的训练效果。但目前大多数基于深度学习的病灶分割算法在训练过程中都须提供一定数量带有分割标签的数据，当新冠病毒发生变异时，无法快速定位病灶，实现辅助医生诊断治疗的效果。
发明内容
针对现有技术存在的以上问题，本发明旨在提供一种基于Grad-CAM的新冠肺炎病灶分割方法，通过对二维CT图像进行去噪等图像常规预处理去除图像中的噪声并只保留肺部区域，通过进行以OSTU为核心的图像二值化预处理增强肺部病灶和健康区域的对比度，并突出病灶边缘信息，通过构建和训练一种基于Grad-CAM的新冠肺炎病灶分割模型，实现在只需类别标签，不需分割标签的情况下对新冠肺炎胸部CT病灶的分割。
为实现本发明的目的，本发明所采用的技术方案如下：
一种基于Grad-CAM的新冠肺炎病灶分割方法，所述方法包括以下步骤：
步骤1：对CT图像进行图像常规预处理；
步骤1.1：使用中值滤波对CT图像进行去噪；
步骤1.2：对CT图像进行裁剪以保留ROI；
步骤1.3：统一CT图像方向与人体方向对应关系；
步骤1.4：统一CT图像尺寸大小；
步骤2：使用以OSTU为核心的图像二值化预处理方法增强肺部病灶和健康区域的对比度，并突出病灶边缘信息；
步骤2.1：对CT图像进行亮度调整；
步骤2.2：使用自适应直方图均衡化对CT图像进行对比度调整；
步骤2.3：使用OSTU确定CT图像的二值化阈值，并进行二值化处理；
步骤2.4：通过对二值图进行并运算，保留肺部完整轮廓；
步骤2.5：对二值化处理结果取反；
步骤2.6：使用填洞和膨胀等提取肺部轮廓边缘信息；
步骤2.7：使用本发明设计算法去除图像边缘区域的无效信息；
步骤3：将预处理好的CT图像输入分类卷积神经网络进行训练；
步骤4：在训练好的分类卷积神经网络中调用Grad-CAM生成用以进行CT图像分类的特征区域定位热力图；
步骤5：在热力图中设定分割阈值，并根据阈值得到肺部病灶分割结果。
作为本发明的一种改进，所述步骤1中，对CT图像进行图像常规预处理的方法为：
所述步骤1.1中，由于部分CT图像中存在噪声，首先通过中值滤波的方法进行图像去噪。所述步骤1.2中，对于来源于不同设备扫描所得的CT图像而言，肺部区域在整个图像中的占比及空间分布有所差异，同时大多数CT图像也存在着肺部区域空间占比较小的问题，因此对所有CT图像进行裁剪，以尽可能地只保留感兴趣区域(Region of Interest，ROI)，去除图像中非肺部区域。所述步骤1.3中，由于来源于不同设备扫描所得的CT图像的方向也有所不同，所以将所有CT图像的方向统一调整为CT图像上方对应人体前方的关系。最后所述步骤1.4中，将所有CT图像的尺寸统一调整为512×512。
作为本发明的一种改进，所述步骤2中，使用以OSTU为核心的图像二值化预处理方法增强肺部病灶和健康区域的对比度，并突出病灶边缘信息。
所述步骤2.1中，本发明首先对经图像常规预处理后的CT图像进行亮度调整，将原来由于过暗而可能在二值化过程中被误判为背景的病灶在CT图像中突出，所述步骤2.2中，对 CT图像进行对比度调整，通过自适应直方图均衡化处理，增强肺部病灶与肺部健康区域之间的对比度，提高病灶的边缘清晰度。所述步骤2.3中，之后本发明通过最大类间方差法确定每张CT图像进行二值化处理的最佳阈值，阈值计算方法如下：
在CT图像I中，假设有L(L≥1)个灰度级，灰度级为i(1≤i≤L)的像素点数为si，图像I的像素点总数为S，则所有灰度级为i的像素点数出现的概率Pi为
将图像像素集合分为目标像素集合Ct和背景像素集合Cb，假设最佳阈值为k，灰度级i在 [1,k]的像素点被分入Ct，灰度级i在[k+1,L]的像素点被分入Cb。则目标像素集合Ct和背景像素集合Cb内的像素点在图像I所有的像素点中的占比ωt和ωb分别为
由上述两式可得目标像素均值μt和背景像素均值μb分别为
类间方差σt和σb分别为
二者总灰度均值μ为
类间总方差σ2为
σ2＝ωtσt 2+ωbσb 2
最佳阈值Th为
上式表示取类间总方差σ2最大值时的k作为最佳阈值。
根据该阈值对图像中的每个像素点赋值0或1，从而完成CT图像的二值化处理。但此时的二值化处理结果仍存在一定问题，如肺部轮廓处理过拟合、肺部边缘信息丢失和图像边缘区域存在无效信息等，所以仍需对此时的二值化处理结果做进一步优化处理。
所述步骤2.4中，为解决肺部轮廓处理过拟合的问题，本发明对经图像常规预处理后的 CT图像进行二值化处理，并将该二值化处理结果和上述二值化处理结果中的对应像素点进行并运算，从而在突出细节信息的情况下保留了完整了肺部轮廓。所述步骤2.5中，对经过并运算后的二值化处理结果进行取反，使得肺部主体表现为白色区域，从而便于后续优化处理。
所述步骤2.6中，为完善肺部边缘信息，本发明在经图像常规预处理后的CT图像中提取轮廓信息，并在进行轮廓提取之前，进行了填洞和膨胀操作，从而最终得到了完整了肺部轮廓信息。将提取到的肺部轮廓信息与上述取反后的二值化处理结果进行并运算，得到带有轮廓信息的二值化处理结果。
所述步骤2.7中，为去除图像边缘区域的无效信息，本发明设计了一种算法，可以在无人工干预的情况下自动去除二值图像中边缘白色无效信息，并在其中加入了防误判算法。最后在完善了肺部边缘信息的二值化处理结果中调用上述算法，生成最终经图像常规预处理和图像二值化预处理的CT图像。
作为本发明的一种改进，所述步骤3中，由于Grad-CAM是一种在分类过程中识别与特定类别相关性最高的特征区域的技术，因此我们可以利用患者CT与健康人CT的主要差异是有无病灶这一特点，在对其进行分类的过程中使用Grad-CAM来识别区分二者的特征区域，即病灶，从而实现在没有像素级别的分割标签的情况下胸部病灶的分割。因此在使用Grad-CAM前，本发明使用分类卷积神经网络对患者CT和健康人CT进行二分类。
作为本发明的一种改进，所述步骤4中，由于Grad-CAM可以应用于任何基于CNN的架构，所以可以在网络结构不变的情况下，在任意分类神经网络中直接使用Grad-CAM，生成热力图并进行病灶分割。本发明使用训练好的分类卷积神经网络对CT图像进行分类，在分类预测结果为患者CT的CT图像上使用Grad-CAM识别特征区域，并依据概率大小生成特征区域定位热力图，即在分类预测结果为患者CT的CT图像中得到病灶概率分布热力图。具体计算方法为：
为了获得任意类别c的类别判别定位图
Grad-CAM首先进行正向传播，计算类别c在softmax层之前的得分梯度yc，其中yc与卷积层的特征映射Ak(k代表特征层A中的第k个通道)有关；上述计算得到的梯度进行反向传播，并进行全局平均池化，以得到神经元重要性权重
其中，Z为特征层的宽度与高度之积，
为特征层A在通道k中，坐标为ij位置处的数据。权重
代表特征映射A下游深层网络的部分线性化，并获得目标类别c的特征映射k的重要性；之后Grad-CAM对前向激活映射进行加权组合，通过ReLU得到类别c的类别判别定位图
最后通过
产生与卷积特征映射大小相同的热力图，实现病灶区域定位。
(5)在热力图中设定分割阈值，并根据阈值得到肺部病灶分割结果。
作为本发明的一种改进，所述步骤5中，本发明对生成的病灶概率分布热力图进行处理，以确定最终病灶分割结果。本发明在大量新冠肺炎胸部CT公开数据集上调用Grad-CAM以生成病灶概率分布热力图，并在生成的热力图中通过二分法设置不同阈值，并评价在该阈值下病灶分割效果，以不断逼近最佳分割阈值。最后在病灶概率分布热力图中保留高于最佳分割阈值的区域作为最终病灶分割结果。
与现有技术相比，本发明的技术方案具有以下的有益技术效果：针对新冠肺炎病灶分割问题，本发明提出了一种新型的只依赖于类别标签，而不依赖于分割标签的基于深度学习的病灶分割方法。相较于其他依赖分割标签的深度学习算法，本发明不仅可以大大减少手动标注所耗费的人力和时间，也可以避免因手动标注引入的噪声标签，从而保证了分割结果的客观性和准确性。本发明可以自动对CT图像进行分类，并对分类预测结果为患者CT的图像进行病灶分割，而其他大多数深度学习算法仍需人工进行分类后才可以进行病灶分割。同时本发明具有较强的泛化能力，可以在缺乏病灶分割标签的情况下快速定位病灶所处区域，并通过热力图的形式提供该区域为病灶的概率信息，进一步辅助医生查找病因。此外，本研究技术路线实现并不复杂，所需计算成本较小，对硬件条件要求不高。
附图说明
图1是本发明一种基于Grad-CAM的新冠肺炎病灶分割方法流程图；
图2是本发明采用的图像常规预处理方法流程图；
图3是本发明采用的图像二值化预处理方法流程图；
图4是本发明采用的图像二值化预处理方法中边缘区域无效信息去除算法流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
实施例1：如图1所示，本发明提出了一种基于Grad-CAM的新冠肺炎病灶分割方法，该方法的详细步骤为：
(1)对CT图像进行图像常规预处理；
图像常规预处理方法一般包括图像去噪、图像增强、对比度调整、亮度调整和尺寸调整等。本发明根据CT图像中较为常见的问题，对其进行了如图2所示的常规预处理。
由于部分CT图像中存在噪声，首先通过中值滤波的方法进行图像去噪。对于来源于不同设备扫描所得的CT图像而言，肺部区域在整个图像中的占比及空间分布有所差异，同时大多数CT图像也存在着肺部区域空间占比较小的问题，因此对所有CT图像进行裁剪，以尽可能地只保留感兴趣区域(Region of Interest，ROI)，去除图像中非肺部区域。此外，来源于不同设备扫描所得的CT图像的方向也有所不同，所以将所有CT图像的方向统一调整为CT 图像上方对应人体前方的关系。最后将所有CT图像的尺寸统一调整为512×512。
(2)使用以OSTU为核心的图像二值化预处理方法增强肺部病灶和健康区域的对比度，并突出病灶边缘信息；
虽然经图像常规预处理后的CT图像中已尽可能地去除非肺部区域，只保留ROI，并且图像质量有所提升，但在CT图像中，由于新冠肺炎病灶对比度不明显和边缘不清晰等特点，以及CT图像是以灰度图的形式展现的，所以在经图像常规预处理后的CT图像中仍无法较为准确和明显地区分出肺部病灶和肺部健康区域，因此有必要通过进一步图像预处理解决上述问题。
本发明在图像常规预处理方法的基础上，给出了基于OSTU的CT图像二值化预处理方法，即通过以最大类间方差法为核心和主要特点的二值化处理方法来增强肺部病灶和肺部健康区域的对比度，提供更加有效的信息，从而更有利于新冠肺炎胸部CT分类和病灶分割的深度学习算法的训练，提高分类和病灶分割准确率。其方法流程见图3。
为提高图像二值化处理效果、尽可能保留更多的细节信息，本发明首先对经图像常规预处理后的CT图像进行亮度调整，通过将其亮度调整为原来的2倍，将原来由于过暗而可能在二值化过程中被误判为背景的病灶在CT图像中突出，从而尽可能保证了病灶的完整性。之后本发明继续对CT图像进行对比度调整，通过自适应直方图均衡化处理，增强肺部病灶与肺部健康区域之间的对比度，提高病灶的边缘清晰度，从而可以在二值化处理的过程中尽可能准确完整地保留病灶的边缘与轮廓信息。
在完成亮度调整和对比度调整等准备工作后，本发明通过最大类间方差法确定每张CT图像进行二值化处理的最佳阈值，阈值计算方法如下：
在CT图像I中，假设有L(L≥1)个灰度级，灰度级为i(1≤i≤L)的像素点数为si，图像I的像素点总数为S，则所有灰度级为i的像素点数出现的概率Pi为
将图像像素集合分为目标像素集合Ct和背景像素集合Cb，假设最佳阈值为k，灰度级i在 [1,k]的像素点被分入Ct，灰度级i在[k+1,L]的像素点被分入Cb。则目标像素集合Ct和背景像素集合Cb内的像素点在图像I所有的像素点中的占比ωt和ωb分别为
由上述两式可得目标像素均值μt和背景像素均值μb分别为
类间方差σt和σb分别为
二者总灰度均值μ为
类间总方差σ2为
σ2＝ωtσt 2+ωbσb 2
最佳阈值Th为
上式表示取类间总方差σ2最大值时的k作为最佳阈值。
根据该阈值对图像中的每个像素点赋值0或1，从而完成CT图像的二值化处理。但此时的二值化处理结果仍存在一定问题，如肺部轮廓处理过拟合、肺部边缘信息丢失和图像边缘区域存在无效信息等，所以仍需对此时的二值化处理结果做进一步优化处理。
为解决肺部轮廓处理过拟合的问题，本发明对亮度调整和对比度调整之前的CT图像进行二值化处理，所用方法仍为最大类间方差法；之后将该二值化处理结果和经过亮度调整和对比度调整后生成的二值化处理结果中的对应像素点进行并运算，从而在突出细节信息的情况下保留了完整了肺部轮廓。之后对经过并运算后的二值化处理结果进行取反，使得肺部主体表现为白色区域，从而便于后续优化处理。
为完善肺部边缘信息，本发明通过bwperim算法在亮度调整和对比度调整之前的CT图像中提取轮廓信息，但由于肺部内部有较多的纹理，在提取肺部轮廓的同时也将其内部的各种孔洞纹理提取了出来，所以在进行轮廓提取之前，须进行填洞和膨胀操作，从而最终得到了完整了肺部轮廓信息。将提取到的肺部轮廓信息与上述取反后的二值化处理结果进行并运算，得到带有轮廓信息的二值化处理结果。
为去除图像边缘区域的无效信息，本发明设计了一种算法，可以在无人工干预的情况下自动去除二值图像中边缘白色无效信息。算法流程见图4。
该算法首先对图像中的每一个像素点进行分类，判断其在二值图像中位于白色区域还是黑色区域。由于二值图像中白色区域也存在少量黑色像素点，所以当以某像素点为中心的九宫格中的9个相关像素点中有任意1个像素点为白色时，则判断该像素点位于白色区域，分类矩阵WorB相应位置取1；否则判断该像素点位于黑色区域，分类矩阵WorB相应位置取0。
之后判断上述分类出的白色像素点是否位于边缘区域。算法依次对分类矩阵WorB中的每一行从左到右遍历左半部分，从右到左遍历右半部分；对每一列从上到下遍历上半部分，从下到上遍历下半部分，判断所有白色像素点是否位于边缘区域。最后对四个方向的判断结果进行并运算，得到边缘判断矩阵EorN。以从左到右这一方向为例对判断方法进行具体说明。对于分类矩阵WorB中的某一行而言，从最左边的元素开始遍历，当连续遍历到n个0(即黑色像素点)时，该连续序列中的首个0左边的所有元素在边缘判断矩阵EorN中的对应位置赋值1，右边所有元素及其自身的对应位置赋值0。
但在部分CT图像中也存在肺部区域位于边缘的情况，所以需要加入防误判算法以避免将肺部区域误判为边缘无效信息，从而误去除掉。因此，在上述遍历判断是否位于边缘区域的基础上，加入防误判算法，即当在某个方向进行遍历时，如已遍历m个点，但仍未连续遍历到n个0，则判断该边缘区域为有效信息，该行(列)停止遍历，该行(列)所有元素赋值0。
最后在完善了肺部边缘信息的二值化处理结果中调用上述算法，生成最终经图像常规预处理和图像二值化预处理的CT图像。
(3)将预处理好的CT图像输入分类卷积神经网络进行训练；
由于Grad-CAM是一种在分类过程中识别与特定类别相关性最高的特征区域的技术，因此我们可以利用患者CT与健康人CT的主要差异是有无病灶这一特点，在对其进行分类的过程中使用Grad-CAM来识别区分二者的特征区域，即病灶，从而实现在没有像素级别的分割标签的情况下胸部病灶的分割。因此在使用Grad-CAM前，本发明需要对患者CT和健康人 CT进行二分类。
具体来说，本发明在PyTorch中调用预训练的SqueezeNet1.1作为本发明所用分类神经网络，并将其最后一层卷积层的out_channels的值修改为2。载入经过图像常规预处理和二值化预处理方法处理后的数据集，并设置好模型训练参数，其中epochs＝100，之后开始训练。经过训练，得到具有较高分类准确率的SqueezeNet1.1模型。
(4)在训练好的分类卷积神经网络中调用Grad-CAM生成用以进行CT图像分类的特征区域定位热力图；
由于Grad-CAM可以应用于任何基于CNN的架构，所以可以在网络结构不变的情况下，在任意分类神经网络中直接使用Grad-CAM，生成热力图并进行病灶分割。本发明使用训练好的SqueezeNet1.1对CT图像进行分类，在分类预测结果为患者CT的CT图像上使用Grad-CAM识别特征区域，并依据概率大小生成特征区域定位热力图，即在分类预测结果为患者CT的CT图像中得到病灶概率分布热力图。具体计算方法为：
为了获得任意类别c的类别判别定位图
Grad-CAM首先进行正向传播，计算类别c在softmax层之前的得分梯度yc，其中yc与卷积层的特征映射Ak(k代表特征层A中的第k个通道)有关；上述计算得到的梯度进行反向传播，并进行全局平均池化，以得到神经元重要性权重
其中，Z为特征层的宽度与高度之积，
为特征层A在通道k中，坐标为ij位置处的数据。权重
代表特征映射A下游深层网络的部分线性化，并获得目标类别c的特征映射k的重要性；之后Grad-CAM对前向激活映射进行加权组合，通过ReLU得到类别c的类别判别定位图
最后通过
产生与卷积特征映射大小相同的热力图，实现病灶区域定位。
(5)在热力图中设定分割阈值，并根据阈值得到肺部病灶分割结果。
由于Grad-CAM识别的病灶是通过生成热力图的方式展现的，所以本发明需要对生成的原始热力图进行处理，以确定最终病灶分割结果。本发明在大量新冠肺炎胸部CT公开数据集上调用Grad-CAM以生成病灶概率分布热力图，并在生成的热力图中通过二分法设置不同阈值，并评价在该阈值下病灶分割效果，以不断逼近最佳分割阈值。通过对大量数据的分析，本发明设定最佳分割阈值为0.32，并在病灶概率分布热力图中保留高于最佳分割阈值的区域作为最终病灶分割结果。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。
Claims (6)
1.一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于，所述方法包括以下步骤：
步骤1：对CT图像进行图像常规预处理；
步骤2：使用以OSTU为核心的图像二值化预处理方法增强肺部病灶和健康区域的对比度，并突出病灶边缘信息；
步骤3：将预处理好的CT图像输入分类卷积神经网络进行训练；
步骤4：在训练好的分类卷积神经网络中调用Grad-CAM生成用以进行CT图像分类的特征区域定位热力图；
步骤5：在热力图中设定分割阈值，并根据阈值得到肺部病灶分割结果。
2.根据权利要求1所述的一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于：所述步骤1中，对CT图像进行图像常规预处理的方法为：
步骤1.1：使用中值滤波对CT图像进行去噪；
步骤1.2：对CT图像进行裁剪以保留ROI；
步骤1.3：统一CT图像方向与人体方向对应关系；
步骤1.4：统一CT图像尺寸大小。
3.根据权利要求1所述的一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于：所述步骤2中，包括以下步骤：
步骤2.1：对CT图像进行亮度调整；
步骤2.2：使用自适应直方图均衡化对CT图像进行对比度调整；
步骤2.3：使用OSTU确定CT图像的二值化阈值，并进行二值化处理；
步骤2.4：通过对二值图进行并运算，保留肺部完整轮廓；
步骤2.5：对二值化处理结果取反；
步骤2.6：使用填洞和膨胀等提取肺部轮廓边缘信息；
步骤2.7：使用本发明设计算法去除图像边缘区域的无效信息。
4.根据权利要求3所述的一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于：所述步骤2中，
所述步骤2.3中，通过最大类间方差法确定每张CT图像进行二值化处理的最佳阈值，阈值计算方法如下：
在CT图像I中，假设有L(L≥1)个灰度级，灰度级为i(1≤i≤L)的像素点数为si，图像I的像素点总数为S，则所有灰度级为i的像素点数出现的概率Pi为
将图像像素集合分为目标像素集合Ct和背景像素集合Cb，假设最佳阈值为k，灰度级i在[1,k]的像素点被分入Ct，灰度级i在[k+1,L]的像素点被分入Cb；则目标像素集合Ct和背景像素集合Cb内的像素点在图像I所有的像素点中的占比ωt和ωb分别为
由上述两式可得目标像素均值μt和背景像素均值μb分别为
类间方差σt和σb分别为
二者总灰度均值μ为
类间总方差σ2为
σ2＝ωtσt 2+ωbσb 2
最佳阈值Th为
上式表示取类间总方差σ2最大值时的k作为最佳阈值；根据该阈值对图像中的每个像素点赋值0或1，从而完成CT图像的二值化处理。
5.根据权利要求1所述的一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于：所述步骤3中，在使用Grad-CAM前，使用分类卷积神经网络对患者CT和健康人CT进行二分类。
6.根据权利要求1所述的一种基于Grad-CAM的新冠肺炎病灶分割方法，其特征在于：所述步骤4中，使用训练好的分类卷积神经网络对CT图像进行分类，在分类预测结果为患者CT的CT图像上使用Grad-CAM识别特征区域，并依据概率大小生成特征区域定位热力图，即在分类预测结果为患者CT的CT图像中得到病灶概率分布热力图；具体计算方法为：
为了获得任意类别c的类别判别定位图
Grad-CAM首先进行正向传播，计算类别c在softmax层之前的得分梯度yc，其中yc与卷积层的特征映射Ak(k代表特征层A中的第k个通道)有关；上述计算得到的梯度进行反向传播，并进行全局平均池化，以得到神经元重要性权重
其中，Z为特征层的宽度与高度之积，
为特征层A在通道k中，坐标为ij位置处的数据，权重
代表特征映射A下游深层网络的部分线性化，并获得目标类别c的特征映射k的重要性；之后Grad-CAM对前向激活映射进行加权组合，通过ReLU得到类别c的类别判别定位图
最后通过
产生与卷积特征映射大小相同的热力图，实现病灶区域定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617466.0A CN114972272A (zh) | 2022-06-01 | 2022-06-01 | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617466.0A CN114972272A (zh) | 2022-06-01 | 2022-06-01 | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972272A true CN114972272A (zh) | 2022-08-30 |
Family
ID=82959740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210617466.0A Pending CN114972272A (zh) | 2022-06-01 | 2022-06-01 | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972272A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580397A (zh) * | 2023-07-12 | 2023-08-11 | 北京大学 | 病理图像识别方法、装置、设备及存储介质 |
| CN117408988A (zh) * | 2023-11-08 | 2024-01-16 | 北京维思陆科技有限公司 | 基于人工智能的病灶图像分析方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215557A1 (zh) * | 2019-04-24 | 2020-10-29 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN111932559A (zh) * | 2020-08-26 | 2020-11-13 | 上海市公共卫生临床中心 | 基于深度学习的新冠肺炎肺部病灶区域分割系统 |
| CN113095382A (zh) * | 2021-03-30 | 2021-07-09 | 浙江大学 | 基于ct图像的可解释性肺结核分类网络识别方法 |
-
2022
- 2022-06-01 CN CN202210617466.0A patent/CN114972272A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215557A1 (zh) * | 2019-04-24 | 2020-10-29 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN111932559A (zh) * | 2020-08-26 | 2020-11-13 | 上海市公共卫生临床中心 | 基于深度学习的新冠肺炎肺部病灶区域分割系统 |
| CN113095382A (zh) * | 2021-03-30 | 2021-07-09 | 浙江大学 | 基于ct图像的可解释性肺结核分类网络识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580397A (zh) * | 2023-07-12 | 2023-08-11 | 北京大学 | 病理图像识别方法、装置、设备及存储介质 |
| CN116580397B (zh) * | 2023-07-12 | 2023-11-10 | 北京大学 | 病理图像识别方法、装置、设备及存储介质 |
| CN117408988A (zh) * | 2023-11-08 | 2024-01-16 | 北京维思陆科技有限公司 | 基于人工智能的病灶图像分析方法及装置 |
| CN117408988B (zh) * | 2023-11-08 | 2024-05-14 | 北京维思陆科技有限公司 | 基于人工智能的病灶图像分析方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977671B (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN109191457B (zh) | 一种病理图像质量有效性识别方法 | |
| WO2022063199A1 (zh) | 一种肺结节自动检测方法、装置及计算机系统 | |
| CN109635846B (zh) | 一种多类医学图像判断方法和系统 | |
| CN108805209B (zh) | 一种基于深度学习的肺结节筛查方法 | |
| CN107067402B (zh) | 医疗图像处理装置及其乳房图像处理方法 | |
| CN111028206A (zh) | 一种基于深度学习前列腺癌自动检测和分类系统 | |
| CN106056118A (zh) | 一种用于细胞的识别计数方法 | |
| CN114972272A (zh) | 一种基于Grad-CAM的新冠肺炎病灶分割方法 | |
| CN111192251B (zh) | 基于水平集图像分割的卵泡超声处理方法和系统 | |
| CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN109064470A (zh) | 一种基于自适应模糊聚类的图像分割方法及装置 | |
| US9852354B2 (en) | Method and apparatus for image scoring and analysis | |
| CN112819747A (zh) | 一种基于肺部断层扫描图片自动诊断结节良恶性的方法 | |
| CN110766659A (zh) | 医学图像识别方法、装置、设备和介质 | |
| CN109147932B (zh) | 癌细胞her2基因扩增分析方法及系统 | |
| TWI587844B (zh) | 醫療影像處理裝置及其乳房影像處理方法 | |
| CN114155202A (zh) | 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN114359288A (zh) | 基于人工智能的医学影像脑动脉瘤检测和定位方法 | |
| CN112712540B (zh) | 一种基于ct影像的肺部支气管提取方法 | |
| CN117522862A (zh) | 一种基于ct影像肺炎识别的图像处理方法及处理系统 | |
| CN113935961A (zh) | 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |