CN113902761B - 基于知识蒸馏的肺部疾病病灶无监督分割方法 - Google Patents
基于知识蒸馏的肺部疾病病灶无监督分割方法 Download PDFInfo
- Publication number
- CN113902761B CN113902761B CN202111285920.9A CN202111285920A CN113902761B CN 113902761 B CN113902761 B CN 113902761B CN 202111285920 A CN202111285920 A CN 202111285920A CN 113902761 B CN113902761 B CN 113902761B
- Authority
- CN
- China
- Prior art keywords
- network
- knowledge
- distillation
- image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 title claims abstract description 49
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 37
- 208000019693 Lung disease Diseases 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000004821 distillation Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 30
- 210000004072 lung Anatomy 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 230000003902 lesion Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 16
- 230000002159 abnormal effect Effects 0.000 description 12
- 206010035664 Pneumonia Diseases 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种基于知识蒸馏的肺部疾病病灶无监督分割方法，属于医学图像处理和计算机视觉领域。本发明首先通过构建和训练一个自编码器来获得具有丰富CT图像语义知识的预训练教师网络，然后从预训练教师网络中仅蒸馏正常CT图像的知识来训练一个与教师网络具有相同架构的学生网络，最终利用教师和学生网络对含病灶图像所提特征的差异进行病灶分割。同时，除传统的像素级蒸馏，该方法还设计了考虑像素间关系的亲和力级蒸馏，以便充分蒸馏有效知识。实验证明，本发明在不同数据集上均能有效提高病灶分割精度。本发明方法易于构建，仅依靠正常数据即可得到未标注的肺部疾病病灶分割结果，且泛化性和运行效率都较为可观。
Description
技术领域
本发明属于医学图像处理和计算机视觉领域，涉及利用深度学习神经网络框架，对计算机断层扫描(Computed Tomography，CT)图像中的肺部疾病病灶进行像素级分割，具体涉及到基于知识蒸馏的肺部疾病病灶无监督分割方法。
背景技术
近年来，肺部疾病对人们身体健康的影响日趋严重，基于胸部CT图像的计算机辅助诊断(Computer Aided Diagnosis，CAD)系统对疾病的快速诊断和评估至关重要。通常，这类CAD系统包括一个重要的处理步骤，就是在CT图像上自动分割病灶。现有工作大多数应用监督方法进行病灶分割(Huang L,Han R,Ai T,et al.Serial quantitative chest CTassessment of COVID-19:Deep-learning approach[J].Radiology:CardiothoracicImaging,2020,2:2.)，并且依赖于大规模标记良好的数据集，而这样的数据集获取非常困难，需要多位经验丰富的放射科医生花费大量时间进行病灶标注工作，耗时耗力。然而，结合日常临床筛查可以发现，肺部区域几乎全是正常组织的CT图像非常多且较易收集，如果可以很好的挖掘利用这部分正常CT图像来开发一种无监督分割方法，那么标注数据短缺的问题将迎刃而解。本发明通过提出基于异常检测的方法来实现这一点，该方法在训练中仅使用正常的CT图像，便可以在测试中分割病灶(异常阴影)。
大多数关于异常检测的研究都集中在自然图像相关任务上，目前也有一些研究工作致力于将异常检测应用于医学图像(Baur C,Denner S,Wiestler B,etal.Autoencoders for unsupervised anomaly segmentation in brain MR images:Acomparative study[J].Medical Image Analysis,2021:101952.)。这些工作往往基于重建误差框架，该框架通过仅使用正常医学图像来训练生成模型，例如自编码器或生成对抗网络，然后应用训练得到的模型重建有病灶的图像，由于模型只见过正常图像，那么在异常区域的重建误差可能很高，这也正好可以作为判断异常区域的依据。然而，上述方法在医学图像异常分割方面的表现并不出众，尤其是使用传统的分割指标(例如Dice相似系数(Dicesimilarity coefficient，DSC))进行评估。主要有以下三个原因：第一，当图像重构较差时，性能容易严重退化，导致假阳性；第二，自编码器很可能过泛化，使异常数据被成功重构，导致假阴性；第三，该方法对高分辨图像重建效果不佳。
近期，一种基于知识蒸馏的框架被发明用来分割自然图像上的异常区域并且表现出很好的效果(BergmannP,FauserM,Sattlegger D,et al.Uninformed Students:Student-Teacher Anomaly Detection With Discriminative Latent Embeddings[C].Proceedings of the IEEE conference on computer vision and patternrecognition.2020:4183-4192.)。该框架基于教师-学生学习策略，从强大的预训练教师网络中仅将正常的自然图像知识蒸馏到学生网络，让学生网络只学习正常图像的分布，当异常图像同时输入到两个网络中时，可使用两者输出的差异来定位异常。但是直接将该框架用于CT图像并不能充分发挥它的能力，其教师网络通常在自然图像数据集上进行预训练，这与CT图像数据集有很大不同。此外，仅在像素级进行蒸馏忽略了像素间的关系，知识蒸馏不够充分。
基于以上问题，本发明参照并综合运用了深度学习的最新技术，提出了基于知识蒸馏的肺部疾病病灶无监督分割方法。通过构建和训练自编码器来获得更合理的具有丰富CT图像语义知识的预训练教师网络，并在像素级和亲和力级将正常CT图像的知识充分蒸馏到学生网络，而后利用教师网络和学生网络对含病灶CT图像所提特征的差异进行异常分割。该方法最终在一个私有数据集和两个公开数据集上实现了更为精确的病灶无监督分割。
发明内容
本发明旨在克服精确标注数据难获取和现有异常检测方法精度较低的不足，提出了基于知识蒸馏的肺部疾病病灶无监督分割方法，首先，构建并训练一个用于重建正常CT图像的自编码器，其编码器部分是一个强大的且包含丰富肺部语义信息的特征提取器，因此保留编码器并把它作为下一步的预训练教师网络。然后，在正常CT图像上进行教师-学生知识蒸馏来训练一个与教师网络具有相同架构的学生网络。为使学生网络学习到更有效的知识，本方法还设计了一种新蒸馏策略，不仅可以在对应的像素位置(像素级)蒸馏知识，而且可以根据特征相似性(亲和力级)更完整的蒸馏知识。最后，在测试阶段将带有病灶的CT图像输入到教师和学生网络中，融合两个网络的多级特征差异可以得到异常定位图，阈值二值化后可得异常分割结果。该方法主要包括三个部分，分别是教师网络预训练，像素级和亲和力级知识蒸馏，异常分割。
本发明的具体技术方案为：
基于知识蒸馏的肺部疾病病灶无监督分割方法，包括下列步骤：
1)收集初始数据：初始数据包括用来训练的正常三维CT图像和用来测试的含病灶的三维CT图像。
2)预处理：将步骤1)得到的初始三维CT数据处理成只有肺内区域的二维CT数据，以便后续网络的训练和测试。
3)教师网络预训练：
3-1)构建一个用于重建正常CT图像的自编码器来学习正常CT图像的语义知识；自编码器包括编码器和解码器，具体通过堆叠一系列卷积层、批标准化、修正线性单元、最大池化、上采样和双曲正切激活函数来构建，并使解码器的输出和编码器的输入大小保持一致。
3-2)通过最小化均方误差损失函数来训练自编码器，经过训练的编码器部分是一个强大的且包含丰富肺部语义信息的特征提取器，可以作为进行知识蒸馏的教师网络，此时教师网络学习到正常CT图像的语义知识，后续会将有效知识一次传给学生网络。
均方误差损失函数如下：
式中，XN表示经过步骤2)得到的正常二维CT图像的训练数据集，xn表示输入的一张正常二维CT图像，表示xn经过自编码器得到的重建图像，‖·‖2表示二范数。
4)像素级和亲和力级知识蒸馏：
4-1)将步骤2)获得的一系列正常的二维CT图像，同时送入步骤3-2)预训练好的教师网络和随机初始化的学生网络中，以便后续通过知识蒸馏的方式来训练学生网络。
4-2)通过最小化像素级损失函数和亲和力级损失函数来进行知识蒸馏，像素级损失函数保证学生网络与教师网络所提取特征在每个像素点上越来越相似，亲和力级损失函数保证学生网络与教师网络所提特征在每个像素点和所有像素点的关系上越来越相似，优化方法为随机梯度下降，同时把不同级别的特征对齐，学生网络在知识蒸馏中不断接受到来自教师网络的丰富正常图像语义信息，最终学习到正常图像的分布，得到训练好的学生网络。
像素级蒸馏损失函数如下：
设有一张正常二维CT图像xn∈XN，和/>分别代表教师网络和学生网络在不同级别的特征图，wl和hl代表特征图的宽和高，/>表示图像xn经过网络得到的第l级特征图的像素级蒸馏损失函数，如下：
式中，(i,j)表示特征图的一个具体像素点，‖·‖2表示二范数。
总像素级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的像素级蒸馏损失来定义的，即：
亲和力级蒸馏损失函数如下：
通过计算像素之间的成对相似度把非局部知识转移到了亲和力级；假设特征维度fl是wl×hl×c，函数将fl变成维度为wlhl×c的/>亲和力矩阵A由下式给出：
式中，σ(·)代表sigmoid操作，代表矩阵乘法，T代表转置操作。
总亲和力级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的亲和力级蒸馏损失来定义的，即：
式中，‖·‖1表示一范数。
总损失函数如下：
式中，α是一个用于调整损失权重的超参数；值得注意的是，只作用于学生网络的训练，教师网络在训练学生网络期间是固定的。
5)异常分割：
5-1)将步骤2)获得的一系列含病灶的二维CT图像，同时送入步骤3-2)预训练好的教师网络和步骤4-2)训练好的学生网络中，由于学生网络只学习到正常图像的知识，那么教师网络与学生网络提取的特征在正常组织的位置是相似的，而在病灶的位置有很大差异，该差异可以用于得到病灶的定位图；通过融合教师网络和学生网络在不同级别的特征差异，可以得到病灶的定位图。融合公式如下：
式中，dl(xc)代表图像xc经过网络得到的第l级特征图的差异，其计算方式与像素级蒸馏损失函数一样，即U(·)代表使用双线性差值进行上采样的操作，∏(·)代表连乘积。
5-2)为进一步得到二值化分割结果y(xc)，也为了更好的与医生标注比较，可以选取最佳阈值对异常定位图d(xc)进行二值化。二值化公式如下：
式中，y(xc)二值化分割结果，d(xc)为异常定位图，y(xc)ij为二值化分割结果y(xc)的(i,j)像素点，d(xc)ij为异常定位图d(xc)的(i,j)像素点，T为设定的阈值。
本发明的有益效果是：
本发明基于深度神经网络，将基于知识蒸馏的异常检测框架应用于CT图像上病灶无监督分割的工作，通过在正常CT图像上预训练自编码器得到了更合理的教师网络，并设计了新的亲和力级蒸馏策略与像素级蒸馏一起训练学生网络，充分开发了基于知识蒸馏的异常检测框架的潜力，实现了更为准确的病灶无监督分割，解决了标注数据不足和现有异常分割方法精度较低的关键问题。该发明具有以下特点：
1、所使用的数据易于收集，符合临床筛查数据的特点，即正常图像远远大于有病灶图像；所使用的框架易于构建，仅仅需要正常CT图像就能完成对未经标注病灶的无监督分割，且分割准确性良好；
2、通过在正常CT图像上预训练自编码器得到教师网络，比其他方法在ImageNet上预训练得到的教师网络更适用于医学领域；
3、除了使用像素级的蒸馏，还提出了关注像素间关系的亲和力级蒸馏策略，使知识得到更加充分的蒸馏，也使学生网络学到一个更合适的正常图像分布；
4、在私有数据集和公开数据集上的表现明显优于其他异常检测方法，且训练和测试运行速度较快，有助于新方法的改进迭代。
附图说明
图1是本发明提出的整体框架流程图，包括教师网络预训练、知识蒸馏和异常分割三部分。
图2是预处理流程图。
图3是本发明的实验可视化结果图。
具体实施方式
下面结合实例和附图对本发明提出的基于知识蒸馏的肺部疾病病灶无监督分割方法做出详细说明：
本发明设计了像素级和亲和力级知识蒸馏来实现肺部疾病病灶无监督分割，仅利用正常CT图像进行训练，实现了更为准确的病灶分割。具体实施流程如图1所示，所述方法包括下列步骤：
1)收集初始数据：
1-1)收集训练数据集，实验使用的是一个私有正常数据集，共收集了69例正常的肺部CT图像用于训练，轴向图像分辨率为512×512。
1-2)收集测试数据集，实验使用了三个新冠肺炎数据集进行测试，均为确诊新冠肺炎的肺部CT图像。数据集一为私有新冠肺炎数据集，共收集了65例，轴向图像分辨率为512×512；数据集二为Coronacases数据集(“Coronacases”https://coronacases.org/)，共10例，轴向图像分辨率为512×512；数据集三为Radiopedia数据集(“Radiopedia”https://radiopaedia.org/articles/covid-19-4.)，共10例，轴向图像分辨率为630×630。这三个数据集均包括不同大小、不同形状、不同位置和不同纹理特征的病灶，其中纹理特征主要是固定型和毛玻璃状。
2)预处理：由于直接在整个CT图像内开发无监督方法非常困难，本发明将步骤1)得到的初始三维CT数据处理成只有肺内部分的二维CT数据，以便后续网络的训练和测试，主要目的是避免肺外部分对网络学习的干扰，预处理完整流程如图2所示。
2-1)使用现有方法(Xu R,WangY,LiuT,et al.BG-Net:Boundary-Guided Networkfor Lung Segmentation on Clinical CT Images[C],In 2020 25th InternationalConference on Pattern Recognition(ICPR).IEEE,2021:8782-8788.)中的成熟肺分割框架对输入的初始三维CT数据进行肺分割，得到三维肺分割结果，该操作仅对私有数据集适用，因为公开数据集直接提供了三维肺分割结果。
2-2)对初始三维CT数据和步骤2-1)得到的对应肺分割结果同时进行重采样使像素之间的距离保持一致，最终将所有CT图像的轴向像素间距统一为0.6738×0.6738mm3，该操作对所有数据集适用。
2-3)对步骤2-2)得到的重采样后的数据进行中心裁剪，目的是减小图像分辨率，使后续网络更好的学习。对于训练数据集和测试数据集一、二来说，轴向裁剪大小为448×320，对于测试数据集三来说，轴向裁剪大小为560×400。
2-4)将步骤2-3)得到的中心裁剪后的数据均沿Z轴方向处理成二维数据，值得注意的是CT数据需要先过CT窗，将灰度值卡在[-1350,150]内，该操作对所有数据集适用。
2-5)将步骤2-4)得到的二维CT数据及对应的肺部分割结果相乘得到只有肺内部分的二维CT数据，该操作对所有数据集适用，但对测试数据集三来说还需要将图像大小调整为448×320，此操作后，所有数据集的图像大小均为448×320。最终训练集包括18538张图像，三个测试数据集分别包括5825、1350、492张图像。
3)教师网络预训练：
3-1)由于CT图像与自然图像有很大不同，在自然图像数据集ImageNet(DengJ,Dong W,Socher R,et al.ImageNet:A large-scale hierarchical image database[C].Proceedings of theIEEE Conference on Computer Vision and PatternRecognition,2009:248-255.)上预训练的模型不仅包含较少的肺部典型特征，而且会导致知识蒸馏的偏差，因此本方法通过构建一个用于重建正常CT图像的自编码器(编码器-解码器)来学习正常CT图像的语义知识，具体通过堆叠一系列卷积层、批标准化、修正线性单元、最大池化、上采样和双曲正切激活函数来构建，详细网络结构如图1中(a)所示，并使解码器g的输出和编码器f的输入大小保持一致。
3-2)通过最小化均方误差损失函数来训练自编码器，经过训练的编码器部分是一个强大的且包含丰富肺部语义信息的特征提取器，可以作为进行知识蒸馏的教师网络，此时教师网络学习到正常CT图像的语义知识，后续会将有效知识一次传给学生网络。
均方误差损失函数如下：
式中，XN表示经过步骤2)得到的含18538张正常二维CT图像的训练数据集，xn表示输入的一张正常二维CT图像，表示xn经过自编码器得到的重建图像，‖·‖2表示二范数。
4)像素级和亲和力级知识蒸馏(如图1中(b)所示)：
4-1)将训练数据集XN的18538张正常二维CT图像同时送入步骤3-2)预训练好的教师网络和随机初始化的学生网络中，以便后续通过知识蒸馏的方式来训练学生网络。
4-2)通过最小化像素级蒸馏损失函数和亲和力级蒸馏损失函数来进行知识蒸馏。现有基于知识蒸馏框架的方法(Wang G,Han S,Ding E,Huang D.Student-TeacherFeature Pyramid Matching for Unsupervised Anomaly Detection[J].arXiv preprintarXiv:2103.04257,2021.)会通过在不同级别特征图上的每个像素位置蒸馏教师网络的知识来训练学生网络。然而，这种像素级蒸馏忽略了对密集预测任务(例如异常分割)很有价值的特征成对关系。如果图像上的一个位置被识别为异常，那么周围具有相似特征的地方也更有可能出现异常。因此，本方法除了使用像素级蒸馏，还提出了亲和力级蒸馏，以确保学生可以从老师那里学到更有效的知识。具体来说，像素级损失函数保证学生网络与教师网络所提取特征在每个像素点上越来越相似，亲和力级损失函数保证学生网络与教师网络所提特征在每个像素点和所有像素点的关系上越来越相似，学习率为0.01，优化方法为随机梯度下降，同时把不同级别的特征对齐，学生网络在知识蒸馏中不断接受到来自教师网络的丰富正常图像语义信息，最终学习到正常图像的分布，得到训练好的学生网络。
像素级蒸馏损失函数如下：
设有一张正常二维CT图像xn∈XN，和/>分别代表教师网络和学生网络在不同级别的特征图，其中l＝l1,l2,l3，wl和hl代表特征图的宽和高，三个级别特征图的具体分辨率分别为112×80，56×40，28×20。/>表示图像xn经过网络得到的第l级特征图的像素级蒸馏损失函数，如下：
式中，(i,j)表示特征图的一个具体像素点，‖·‖2表示二范数。
总像素级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的像素级蒸馏损失来定义的，即：
亲和力级蒸馏损失函数如下：
受先前工作(Gan Y,Xu X,Sun W,et al.Monocular Depth Estimation withAffinity,Vertical Pooling,and Label Enhancement[C],In Proceedings of theEuropean Conference on Computer Vision(ECCV),2018:224-239.)的启发，非局部相关性被认为可以加强像素之间的联系，本方法通过计算像素之间的成对相似度把非局部知识转移到了亲和力级。假设特征维度fl是wl×hl×c，函数将fl变成维度为wlhl×c的/>亲和力矩阵A由下式给出：
式中，σ(·)代表sigmoid操作，代表矩阵乘法，T代表转置操作。
总亲和力级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的亲和力级蒸馏损失来定义的，即：
式中，‖·‖1表示一范数。
总损失函数如下：
式中，α是一个用于调整损失权重的超参数，本实施例设置为0.001。值得注意的是，只作用于学生网络的训练，教师网络在训练学生网络期间是固定的。
5)异常分割(如图1中(c)所示)：
5-1)将测试数据集中一张含病灶的二维CT图像xc∈XC，同时送入步骤3-2)预训练好的教师网络和步骤4-2)训练好的学生网络中，由于学生网络只学习到正常图像的知识，没有学习过含病灶图像的知识，那么教师网络与学生网络提取的特征在正常组织的位置是相似的，而在病灶的位置有很大差异，该差异可以用于得到病灶的定位图；通过融合教师网络和学生网络在不同级别的特征差异，可以得到病灶的定位图。融合公式如下：
式中，dl(xc)代表图像xc经过网络得到的第l级特征图的差异，其计算方式与像素级蒸馏损失函数一样，即U(·)代表使用双线性差值进行上采样的操作，∏(·)代表连乘积。
5-2)为进一步得到二值化分割结果y(xc)，也为了更好的与医生标注比较，可以选取最佳阈值对异常定位图d(xc)进行二值化。二值化公式如下：
式中，y(xc)ij为二值化分割结果y(xc)的(i,j)像素点，d(xc)ij为异常定位图d(xc)的(i,j)像素点，T为设定的阈值。
6)基于知识蒸馏的肺部疾病病灶无监督分割方法性能比较：使用步骤2)获取的三个新冠肺炎数据集进行测试，通过计算两个阈值无关的指标AUROC(area under ROC)，AUPRC(area under precision-recall curve)，和一个阈值相关的指标DSC，来比较各个方法的有效性。与其他方法的比较如表1所示，其中(a)是基于自编码器的重建方法(Baur C,Wiestler B,Albarqouni S,et al.Deep autoencoding models for unsupervisedanomaly segmentation in brain MR images[C].International MICCAI BrainlesionWorkshop.Springer,Cham,2018:161-169.)；(b)是基于全卷积自编码器的重建方法，将方法(a)中自编码器的全连接层改为卷积层；(c)是基于变分自编码器的重建方法(You S,Tezcan K C,Chen X,et al.Unsupervised lesion detection via image restorationwith a normative prior[C].International Conference on Medical Imaging withDeep Learning.PMLR,2019:540-556.)；(d)是基于全卷积变分自编码器的重建方法，将方法(c)中变分自编码器的全连接层改为卷积层；(e)是结合生成对抗网络和自编码器的重建方法(XuR,CaoX,Wang Y,et al.Unsupervised detection of pulmonary opacities forcomputer-aided diagnosis of COVID-19on CT images[C].In 2020 25thInternational Conference on Pattern Recognition(ICPR).IEEE,2021:9007-9014.)；(f)是基于多分辨率知识蒸馏的异常检测方法(SalehiM,SadjadiN,BaselizadehS,etal.Multiresolution Knowledge Distillation for Anomaly Detection[C].Proceedings of the IEEE conference on computer vision and patternrecognition.2021:14902-14912.)；(g)是基于学生-教师特征金字塔匹配的异常检测方法(Wang G,Han S,Ding E,Huang D.Student-Teacher Feature Pyramid Matching forUnsupervised Anomaly Detection[J].arXiv preprint arXiv:2103.04257,2021.)，也是本发明所提方法的一个参考；(h)是本发明提出的方法，图3是该方法的可视化结果。
根据表1中结果比较可知，本发明的方法在三个不同的数据集上用三种评价指标衡量均表现为既优于各种基于重建误差框架的方法，又优于现有的基于知识蒸馏框架的方法。对于私有新冠肺炎数据集来说，本发明的方法比其他方法在三个指标上的最好结果分别高出2.31％，14.84％，18.23％；对于Coronacases数据集来说，本发明的方法比其他方法在三个指标上的最好结果分别高出1.54％，4.51％，9.6％；对于Radiopedia数据集来说，本发明的方法比其他方法在三个指标上的最好结果分别高出2.77％，15.14％，14.9％。
表1本发明方法与其他无监督异常检测方法的结果比较
Claims (2)
1.基于知识蒸馏的肺部疾病病灶无监督分割方法，其特征在于，包括如下步骤：
1)收集初始数据：初始数据包括用来训练的正常三维CT图像和用来测试的含病灶的三维CT图像；
2)预处理：将步骤1)得到的初始三维CT数据处理成只有肺内区域的二维CT数据，以便后续网络的训练和测试；
3)教师网络预训练：
3-1)构建一个用于重建正常CT图像的自编码器来学习正常CT图像的语义知识；自编码器包括编码器和解码器，通过堆叠一系列卷积层、批标准化、修正线性单元、最大池化、上采样和双曲正切激活函数来构建，并使解码器的输出和编码器的输入大小保持一致；
3-2)通过最小化均方误差损失函数来训练自编码器，经过训练的编码器部分是一个包含肺部语义信息的特征提取器，作为进行知识蒸馏的教师网络，此时教师网络学习到正常CT图像的语义知识，后续将有效知识一次传给学生网络；
4)像素级和亲和力级知识蒸馏：
4-1)将步骤2)获得的一正常的二维CT图像，同时送入步骤3-2)预训练好的教师网络和随机初始化的学生网络中，以便后续通过知识蒸馏的方式来训练学生网络；
4-2)通过最小化像素级蒸馏损失函数和亲和力级蒸馏损失函数来进行知识蒸馏，像素级蒸馏损失函数保证学生网络与教师网络所提取特征在每个像素点上越来越相似，亲和力级损失函数保证学生网络与教师网络所提特征在每个像素点和所有像素点的关系上越来越相似，优化方法为随机梯度下降，同时把不同级别的特征对齐，学生网络在知识蒸馏中不断接受到来自教师网络的丰富正常图像语义信息，最终学习到正常图像的分布，得到训练好的学生网络；
5)异常分割：
将步骤2)获得的含病灶的二维CT图像，同时送入步骤3-3)预训练好的教师网络和步骤4-2)训练好的学生网络中，由于学生网络只学习到正常图像的知识，那么利用教师网络与学生网络提取的特征在病灶位置的差异可以得到病灶定位图，阈值二值化后可得分割结果；
所述的步骤3-2)中，均方误差损失函数如下：
式中，XN表示经过步骤2)得到的正常二维CT图像的训练数据集，xn表示输入的一张正常二维CT图像，表示xn经过自编码器得到的重建图像，||·||2表示二范数；
所述的步骤4-2)中，像素级蒸馏损失函数如下：
设有一张正常二维CT图像xn∈XN，和/>分别代表教师网络和学生网络在不同级别的特征图，wl和hl代表特征图的宽和高；/>表示图像xn经过网络得到的第l级特征图的像素级蒸馏损失函数，如下：
式中，(i,j)表示特征图的一个具体像素点，||·||2表示二范数；
总像素级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的像素级蒸馏损失来定义的，即：
亲和力级蒸馏损失函数如下：
通过计算像素之间的成对相似度把非局部知识转移到了亲和力级；假设特征维度fl是wl×hl×c，函数将fl变成维度为wlhl×c的/>亲和力矩阵A由下式给出：
式中，σ(·)代表sigmoid操作，代表矩阵乘法，T代表转置操作；
总亲和力级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的亲和力级蒸馏损失来定义的，即：
式中，||·||1表示一范数；
总损失函数如下：
式中，α是一个用于调整损失权重的超参数；只作用于学生网络的训练，教师网络在训练学生网络期间是固定的。
2.根据权利要求1所述的基于知识蒸馏的肺部疾病病灶无监督分割方法，其特征在于，所述的步骤5)具体如下：
5-1)将步骤2)获得的含病灶的二维CT图像，同时送入步骤3-2)预训练好的教师网络和步骤4-2)训练好的学生网络中；通过融合教师网络和学生网络在不同级别的特征差异，得到病灶的定位图，融合公式如下：
式中，dl(xc)代表图像xc经过网络得到的第l级特征图的差异，其计算方式与像素级蒸馏损失函数一样，即U(·)代表使用双线性差值进行上采样的操作，∏(·)代表连乘积；
5-2)为进一步得到二值化分割结果y(xc)，也为了更好的与医生标注比较，选取最佳阈值对异常定位图d(xc)进行二值化；二值化公式如下：
式中，y(xc)二值化分割结果，d(xc)为异常定位图，y(xc)ij为二值化分割结果y(xc)的(i,j)像素点，d(xc)ij为异常定位图d(xc)的(i,j)像素点，T为设定的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111285920.9A CN113902761B (zh) | 2021-11-02 | 2021-11-02 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111285920.9A CN113902761B (zh) | 2021-11-02 | 2021-11-02 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902761A CN113902761A (zh) | 2022-01-07 |
| CN113902761B true CN113902761B (zh) | 2024-04-16 |
Family
ID=79027835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111285920.9A Active CN113902761B (zh) | 2021-11-02 | 2021-11-02 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902761B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625924B (zh) * | 2022-05-16 | 2022-08-26 | 浙江大学 | 一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统 |
| CN114926471B (zh) * | 2022-05-24 | 2023-03-28 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN114723746B (zh) * | 2022-05-24 | 2022-09-02 | 神州医疗科技股份有限公司 | 基于知识蒸馏的病灶区域深度组学特征提取方法及装置 |
| CN115908253A (zh) * | 2022-10-18 | 2023-04-04 | 中科(黑龙江)数字经济研究院有限公司 | 一种基于知识蒸馏的跨域医学影像分割方法及装置 |
| CN116342859B (zh) * | 2023-05-30 | 2023-08-18 | 安徽医科大学第一附属医院 | 一种基于影像学特征识别肺部肿瘤区域的方法及系统 |
| CN116862885A (zh) * | 2023-07-14 | 2023-10-10 | 江苏济远医疗科技有限公司 | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 |
| CN116993694B (zh) * | 2023-08-02 | 2024-05-14 | 江苏济远医疗科技有限公司 | 一种基于深度特征填充的无监督宫腔镜图像异常检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402268A (zh) * | 2020-03-16 | 2020-07-10 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN112465111A (zh) * | 2020-11-17 | 2021-03-09 | 大连理工大学 | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113538334A (zh) * | 2021-06-09 | 2021-10-22 | 香港中文大学深圳研究院 | 一种胶囊内窥镜图像病变识别装置及训练方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3076424A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
-
2021
- 2021-11-02 CN CN202111285920.9A patent/CN113902761B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402268A (zh) * | 2020-03-16 | 2020-07-10 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN112465111A (zh) * | 2020-11-17 | 2021-03-09 | 大连理工大学 | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113538334A (zh) * | 2021-06-09 | 2021-10-22 | 香港中文大学深圳研究院 | 一种胶囊内窥镜图像病变识别装置及训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902761A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
| Zhuang et al. | An Effective WSSENet-Based Similarity Retrieval Method of Large Lung CT Image Databases. | |
| WO2021017372A1 (zh) | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 | |
| CN112529042B (zh) | 一种基于双重注意力多示例深度学习的医学图像分类方法 | |
| CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN114897914B (zh) | 基于对抗训练的半监督ct图像分割方法 | |
| Sahu et al. | Hybrid Deep learning based Semi-supervised Model for Medical Imaging | |
| Liu et al. | Recent progress in transformer-based medical image analysis | |
| CN111161271A (zh) | 一种超声图像分割方法 | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| CN114862800A (zh) | 基于几何一致性约束的半监督医学图像分割方法 | |
| Cenggoro et al. | Systematic literature review: An intelligent pulmonary TB detection from chest x-rays | |
| CN117393098A (zh) | 基于视觉先验和跨模态对齐网络的医疗影像报告生成方法 | |
| Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
| Li et al. | Medical image identification methods: A review | |
| Verma et al. | Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends | |
| CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
| CN116310335A (zh) | 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法 | |
| CN114463339A (zh) | 一种基于自注意力的医疗影像分割方法 | |
| CN115239740A (zh) | 基于GT-UNet的全心分割算法 | |
| Liang et al. | CompareNet: anatomical segmentation network with deep non-local label fusion | |
| CN113936006A (zh) | 一种处理高噪低质医学图像的分割方法及装置 | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 | |
| Somasundaram et al. | An efficient detection of kidney stone based on hdvs deep learning approach | |
| CN111768845A (zh) | 一种基于最优多尺度感知的肺结节辅助检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |