CN113486959B - 基于特征迁移的肺部ct图像分类方法 - Google Patents

基于特征迁移的肺部ct图像分类方法 Download PDF

Info

Publication number
CN113486959B
CN113486959B CN202110769959.1A CN202110769959A CN113486959B CN 113486959 B CN113486959 B CN 113486959B CN 202110769959 A CN202110769959 A CN 202110769959A CN 113486959 B CN113486959 B CN 113486959B
Authority
CN
China
Prior art keywords
image
network
feature
classification
lung
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110769959.1A
Other languages
English (en)
Other versions
CN113486959A (zh
Inventor
杨东海
杜志昭
许淑茹
黄仲庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangzhou Health Vocational College
Original Assignee
Zhangzhou Health Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangzhou Health Vocational College filed Critical Zhangzhou Health Vocational College
Priority to CN202110769959.1A priority Critical patent/CN113486959B/zh
Publication of CN113486959A publication Critical patent/CN113486959A/zh
Application granted granted Critical
Publication of CN113486959B publication Critical patent/CN113486959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了基于特征迁移的肺部CT图像分类方法，包括如下步骤：首先，对CT图像进行滤波、拉伸和数据增强。其次，应用特征可视化改进网络架构进行图像特征迁移，减少超参数调整，降低网络训练对标签图像的依赖。最后，使用改进网络对CT图像提取特征，并用K近邻算法、支持向量机和随机森林进行分类评价。在公开CT图像数据集上与6种对比算法进行实验验证。实验结果表明，改进网络分类准确率为93.3％，精确率为96.9％，模型最小、分类时间最少，具有较好的鲁棒性，有效改善了肺部CT图像的诊断效果。

Description

基于特征迁移的肺部CT图像分类方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及基于特征迁移的肺部CT图像分类方法。
背景技术
当前医疗设备行业快速发展，医学图像呈现快速增长态势。由于医疗资源的匮乏，通过放射科医生对大规模医学图像进行阅片诊断工作量大、效率低。因此，在计算机视觉领域，通过应用计算机辅助诊断提高诊断效率具有重要意义，也是当前众多学者研究的一个热点之一。
卷积神经网络在图像分类领域取得了巨大的成功。2012年，Hinton等人提出的AlexNet在ImageNet竞赛中获得了冠军。2014年由牛津大学Simonyan等人提出的VGGNet在ImageNet竞赛中获得了第二名。同年，GoogLeNet获得了ImageNet竞赛中获得了第一名。2015年，何凯明等人提出了ResNet获得了大规模视觉识别赛冠军。Szegedy C等人通过卷积的分解以及正则化有效地利用增加的计算量来扩大网络。这些著名的深度学习网络都是在卷积神经网络的基础上发展得到的。
SqueezeNet是2016年提出的一种轻量级的卷积神经网络模型。SqueezeNet可在参数减少50倍以上的情况下性能接近AlexNet。SqueezeNet网络使用大量的1×1的滤波器，同时减少3×3滤波器通道数以及延迟采样来实现高压缩参数下的性能。SqueezeNet共有68层，包含8个Fire模块，每个Fire模块包含7层，Fire模块如图1所示。在一个Fire模块中有三个超参数：s1x1，e1x1和e3x3。在Fire模块中，s1x1是挤压层所有1x1滤波器的数量，e1x1是1x1滤波器在拓展层的数量，e3x3是3x3滤波器在拓展层的数量。
目前，大量的学者通过机器学习或者深度学习的方法对医学图像进行处理。如Hua等人应用深度学习技术对肺结节CT图像计算机辅助分类。Litjens等人研究了深度学习算法，特别是卷积网络在医学图像分类、分割、配准领域的应用，提出了未来研究面临的挑战和方向。Xie等人提出了一种多视图基于知识的协同深度模型，利用有限的胸部CT数据来区分良恶性结节。Zhang等人提出了深度叠加变换将深度学习方法推广到不可见区域的医学图像分割。Xie等人通过模型将一个三维肺结节分解成九个固定视图来学习三维肺部结节的特征。2020年，Liu等人提出了一个多任务深度模型用于自动肺结节分析。徐宏伟等人采用残差双注意力U-Net模型的对CT图像自动分割。Yang等人采用DenseNet网络对肺炎图像进行分类，获得了84.7％的分类准确率。这些学者都在其特定数据集上取得了较大的成功。以此同时，一些学者对轻量型SqueezeNet网络进行改进并应用于不同领域。文献将SqueezeNet网络加深，用来对图像进行语义分割。将改进的queezeNet网络用于人脸识别。Liu等人研究改进了SqueezeNet网络使其在ImageNet数据集上的TOP-1和TOP-5分类精度分别提高了7.05％和4.79％。此外Bsra等人将SqueezeNet网络用于癫痫病人脑电图信号的识别。这些学者成功的对SqueezeNet网络进行改进并应用于不同领域。然而，在有限的带标签训练样本下训练出一个高质量的轻量型深度学习网络仍是当前面临的一个重要挑战。
发明内容
本发明的目的在于提供基于特征迁移的肺部CT图像分类方法，该方法仅在有限带标记的CT图像样本即可进行模型的训练，通过对肺部CT图像进行预处理，对预训练的SqueezeNet网络进行迁移学习，采用可视化方法减少超参数调整，结合冻结网络层来降低网络训练过程对带标签样本规模的要求。用训练好的模型对测试集图像进行特征提取，并用K近邻算法(K Nearest Neighbor,KNN)、支持向量机(Support Vector Machines,SVM)和随机森林分类器对提取的特征进行分类，并与6个对比算法进行比较。实验结果表明，所提方法能够在小规模训练样本情况下高效训练网络，同时提高肺部CT图像的分类准确率及分类精确率。通过该模型，能够提高了疾病诊断效率，为疾病的诊治留下了宝贵的时间，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于特征迁移的肺部CT图像分类方法，包括如下步骤：
步骤1：图像预处理
图像预处理可以充分利用现有的小规模的带标签的CT图像样本，预处理包括对CT图像样本的噪声滤波、对比对拉伸、肺部CT图像数据增强；
步骤2：迁移学习
使用迁移学习的方法可以有效解决小规模CT图像样本训练网络产生的过拟合问题；
步骤3：改进SqueezeNet网络架构
使用在ImageNet数据集上预训练的SqueezeNet网络进行低层次特征迁移学习，根据肺炎CT图像特定细粒度类别，通过对原始SqueezeNet网络的主要节点进行特征可视化，通过特征可视化，设定在所有特征通道中首次出现50％以上通道的特征出现无法正常识别出肺部的纹理轮廓信息时，确定该层之后的网络层对CT图像低层次特征的提取敏感度低；
步骤4：改进SqueezeNet网络伪代码。
进一步地，对于自适应噪声滤波，由于不同的CT设备生成的图像具有不同的高斯噪声，图像预处理阶段引入了自适应二维高斯噪声滤波技术。
进一步地，对于对比对拉伸，为提取CT图像信息，对滤除噪声后的图像进行对比度拉伸，把CT图像的像素点从拓展到0到255。
进一步地，对于肺部CT图像数据增强，图像增强的目的是增加训练样本的多样性，调整图像的通道数和图像像素大小以匹配网络输入，图像增强采用的方式包括对图像进行随机缩放、随机旋转角度、像素平移、水平或垂直镜像、调整图像的像素大小。
进一步地，步骤4的算法如下：
输入：CT图像及图像标签，冻结层数，最大验证精度Amax＝0,N＝0；
输出：CT图像的混淆矩阵，分类准确率，分类精确率；
a)对原始CT图像滤波拉伸以及数据增强；
b)处理后的CT图像输入到改进的预训练SqueezeNet网络；
c)for epoch＝1：k；
d)计算样本损失；
e)用Adam优化器更新网络权重和偏置；
f)end for；
g)训练集训练一遍后用验证集验证分类准确率Ai，保存对应网络；
h)判断Ai是否大于Amax,若是，Amax＝Ai,计数器N清零,重复步骤c至步骤g，反之，N＝N+1，当N小于20时，重复步骤c至步骤g；
i)当N＝20，出发早停机制，训练提前结束；
j)用验证精度最高时对应的网络对测试集图像进行特征提取；
k)使用KNN、SVM和随机森林进行特征分类得到预测结果和分类时间；
l)通过图像标签和预测结果得到CT图像的混淆矩阵，分类准确率，分类精确率；
返回：混淆矩阵，分类准确率，分类精确率。
与现有技术相比，本发明的有益效果是：本发明应用改进的SqueezeNet网络，通过对CT图像进行预处理，采用特征可视化及特征迁移的方法，减少模型超参数调整，解决了有限带标签CT图像的模型训练问题。通过实验可知，改进SqueezeNet网络在三种分类器最高分类准确率达到93.3％，最高精确率达到96.9％均优于6个对比算法。同时，改进SqueezeNet网络在肺炎CT图像数据集上5项评价指标均优于原始SqueezeNet网络，这对于降低肺炎疾病的误诊率和漏诊率具有重要意义。此外，改进SqueezeNet网络模型最小，且在不同分类器上分类时间最少，具有较高的分类效率。然而，本次实验的漏诊率依然较高，这对于高传染性的肺炎疾病是不可接受的。下一步将继续研究改进SqueezeNet网络模型以进一步降低肺炎CT图像漏诊率。
附图说明
图1为Fire模块示意图；
图2为本发明的迁移学习过程示意图；
图3为本发明的特征可视化改进SqueezeNet网络肺炎CT图像分类系统示意图；
图4为本发明的批输入图像样本示例；
图5为本发明的CT图像预处理示意图；
图6为本发明的网络在CT数据集上的训练过程示意图；
图7为本发明的原始SqueezeNet网络的第11层网络各个通道特征激活后可视化效果示意图；
图8为本发明的原始SqueezeNet网络的第18层网络各个通道特征激活后可视化效果示意图；
图9为本发明的原始SqueezeNet网络的第26层网络各个通道特征激活后可视化效果示意图；
图10为本发明的原始SqueezeNet网络的第33层网络各个通道特征激活后可视化效果示意图；
图11为本发明的原始SqueezeNet网络的第41层网络各个通道特征激活后可视化效果示意图；
图12为本发明的原始SqueezeNet网络的第48层网络各个通道特征激活后可视化效果示意图；
图13为本发明的原始SqueezeNet网络的第55层网络各个通道特征激活后可视化效果示意图；
图14为本发明的原始SqueezeNet网络的第62层网络各个通道特征激活后可视化效果示意图；
图15为本发明输入网络图像和第11层第2通道特征激活示意图；
图16为本发明主要节点层特征激活图平均相似度度量示意图；
图17为网络第11层各通道与剩余63通道平均相似度示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于特征迁移的肺部CT图像分类方法，包括如下步骤：
步骤1：图像预处理
图像预处理可以充分利用现有的小规模的带标签的CT图像样本，预处理包括对CT图像样本的噪声滤波、对比对拉伸、肺部CT图像数据增强。
1.CT图像样本的噪声滤波
由于不同的CT设备生成的图像具有不同的高斯噪声，图像预处理阶段引入了自适应二维高斯噪声滤波技术。自适应噪声滤波处理过程如式(1)、式(2)所示。
Figure GDA0004181777380000061
Figure GDA0004181777380000062
η是图像A中每个像素的x×y局部邻域。使用估计值创建像素级滤波器f如式(3)所示。
Figure GDA0004181777380000063
其中ν2是噪声方差。应用自适应噪声滤波能够有效解决不同CT设备生成的图像存在的不同噪声问题。
2.对比度拉伸
为了进一步提取CT图像信息，对滤除噪声后的图像进行对比度拉伸，把CT图像的像素点从拓展到0到255。对比度拉伸处理过程如式(4)所示。对CT图像进行对比度拉升，能够更好地感知和细化图像边缘灰度特征，充分挖掘出图像的内部信息。
Figure GDA0004181777380000071
3.肺部CT图像数据增强
图像增强的目的是增加训练样本的多样性，调整图像的通道数和图像像素大小以匹配网络输入。图像增强采用的方式包括对图像进行随机缩放、随机旋转角度、像素平移、水平或垂直镜像、调整图像的像素大小等。
步骤2：迁移学习
由于带标签的肺炎CT图像样本有限，在训练样本有限的情况下重新训练深度学习网络易出现模型泛化性能不佳。因此，使用迁移学习的方法可以有效解决小规模CT图像样本训练网络产生的过拟合问题。假设源域为自然图像，目标域为肺炎CT图像，迁移学习过程如图2所示；
步骤3：改进SqueezeNet网络架构
由于CT图像与自然图像在颜色、纹理、边缘等低层次特征具有共通性，因此使用在ImageNet数据集上预训练的SqueezeNet网络进行低层次特征迁移学习，根据肺炎CT图像特定细粒度类别，通过对原始SqueezeNet网络的主要节点进行特征可视化。通过特征可视化，设定在所有特征通道中首次出现50％以上通道的特征出现无法正常识别出肺部的纹理轮廓信息时，确定该层之后的网络层对CT图像低层次特征的提取敏感度低，通过该方法，最终确定冻结层和训练层，为网络超参数的调整提供依据。通过可视化特征信息确定减少网络深度。对原始的SqueezeNet网络8个Fire模块保留前4个，删除conv10层，降低模型复杂度，同时对网络部分层权重冻结，利用有限的CT图像训练部分网络层，进一步减少模型训练对训练样本的依赖。同时为更好提取CT图像整体特征，在SqueezeNet网络中引入1层全连接层，全连接作用是把局部特征重新通过权值矩阵组装成完整的特征表示，减少特征位置对分类带来的影响。调整Dropout系数，提高模型的拟合能力，确定网络深度为39，最后对全连接层提取的特征用KNN、SVM和随机森林三种分类器进行分类预测，结合图像标签得到最终的分类结果，网络整体架构如图3所；
步骤4：改进SqueezeNet网络伪代码。算法如下：
输入：CT图像及图像标签，冻结层数，最大验证精度Amax＝0,N＝0；
输出：CT图像的混淆矩阵，分类准确率，分类精确率；
a)对原始CT图像滤波拉伸以及数据增强；
b)处理后的CT图像输入到改进的预训练SqueezeNet网络；
c)for epoch＝1：k；
d)计算样本损失；
e)用Adam优化器更新网络权重和偏置；
f)end for；
g)训练集训练一遍后用验证集验证分类准确率Ai，保存对应网络；
h)判断Ai是否大于Amax,若是，Amax＝Ai,计数器N清零,重复步骤c至步骤g，反之，N＝N+1，当N小于20时，重复步骤c至步骤g；
i)当N＝20，出发早停机制，训练提前结束；
j)用验证精度最高时对应的网络对测试集图像进行特征提取；
k)使用KNN、SVM和随机森林进行特征分类得到预测结果和分类时间；
l)通过图像标签和预测结果得到CT图像的混淆矩阵，分类准确率，分类精确率；
返回：混淆矩阵，分类准确率，分类精确率。
实验所用数据集从公开的https://github.com/UCSD-AI4H网站上下载。数据集中的图像样本采集于不同的CT设备，图像像素大小不一，最大为1637×1225，最小为148×61。图4为随机批输入图像样本示例。图4对批输入样本CT图像进行了随机缩放、旋转角度、像素平移、水平或垂直镜像、调整图像的像素大小处理。
为了验证算法的有效性，实验中，对下列参数进行设置。本实验中将所有的CT图像样本按照8：1：1分为训练集、验证集和测试集。对CT图像样本随机进行30个图像像素点平移。随机对图像进行缩放，缩放因子为0.9至1.1，随机进行水平或者垂直镜像、随机旋转。由于图像采集于不同的CT设备，每个样本图像的像素大小各不相同，使用数据增强方法将输入图像大小统一成227×227×3输入到网络。训练采用的是Adam的优化器，初始学习率为3e-4，训练批大小为16，同时批图像输入网络前随机打乱，由于网络层数减少，为提高模型拟合能力，Dropout系数为从0.5调整为0.1。验证集的验证频率为37，预设模型训练总迭代次数为1000次。为加快网络的训练，结合特征可视化进行参数调整，对网络前26层进行迁移参数冻结处理，27至39层进行参数迭代更新。当验证集验证精度连续20次未超过之前的最高验证精度时，提前终止网络训练。
模型评价指标采用准确率、精确率、敏感度、特异性、F1 Score 5个指标。定义TP、TN、FP、FN分别是真正例、真负例、假正例、假负例。
定义准确率Accuracy如式(5)所示。
Figure GDA0004181777380000091
定义精确率Precision如式(6)所示。
Figure GDA0004181777380000101
定义敏感度Sensitive如式(7)所示。
Figure GDA0004181777380000102
定义特异性Specificity如式(8)所示。
Figure GDA0004181777380000103
定义F1 Score如式(9)所示。
Figure GDA0004181777380000104
实验结果与分析：
参照图5，(a)是原始的CT图像，(b)是经过式(1)、式(2)和式(3)处理后的自适应滤波图像，通过自适应滤波，图像的部分高斯噪声被有效滤除，(b)的图像的白色噪声点明显少于图(a)。(c)是采用式(4)进行对比度拉伸后得到的图像。图像拉伸后的灰阶等级范围更大，特征信息也更加丰富。
图6所示是网络在CT数据集上的训练过程。如图6所示，训练过程中，网络迭代到第1072次时，取得最高的验证精度，之后连续20次验证准确度均未高于第1072迭代时模型的验证准确度，触发网络训练早停机制，网络训练提前结束。
图7至图14所示分别是原始SqueezeNet网络的第11、18、26、33、41、48、55和第62层网络各个通道特征激活后可视化效果。
如图7至图14所示，随着网络层深度的增加，特征激活图的边缘信息、轮廓和纹理特征逐渐模糊。网络深度增加并不能更好提取肺炎CT图像分类中特定的细粒度特征，同时网络深度越深网络训练的时间也越长。为更好地度量特征激活图与原始输入图像的相似度，图15分别为输八网络CT图像和第11层第2通道特征激活图像，经过实验获得两张图像相似度为0.52。
为更加全面展现特征激活图与输入图像的相似度，输入网络的图像与第11层网络全部64个通道的特征激活图进行图像相似度度量，度量结果如表1所示：
表1输入图像与网络第11层各通道特征图度量结果
Figure GDA0004181777380000111
输入图像与第11层64个通道相似度度量平均值为0.4556。图16所示为SqueezeNet网络主要节点层的特征激活图像与网络输入图像相似度度量结果平均值。如图16所示，第33层之后的图像相似度度量平均值下降较快且低于40％，网络对医学图像细粒度特征的提取能力较弱，确定原始SqueezeNet网络迁移层数。
网络第11层通道1的特征激活图与网络第11层剩余的63个通道的特征激活图进行图像相似度度量，度量结果如下表2所示：
表2网络第11层通道1与其余63通道相似度
Figure GDA0004181777380000121
网络第11层通道2的特征激活图与网络第11层剩余的63个通道的特征激活图进行图像相似度度量，度量结果如下表3所示：
表3网络第11层通道2与其余63通道相似度
Figure GDA0004181777380000122
下表4为网络第11层各通道与其余63通道平均相似度。如下表4所示，第11层网络第1通道的特征激活图与第11层网络剩余的63个通道平均相似度为0.8731。第11层网络第2通道的特征激活图与第11层网络剩余的63个通道平均相似度为0.9154。
表4网络第11层各通道与其余63通道平均相似度
Figure GDA0004181777380000131
如图17所示，网络第11层共20个通道的平均相似度低于0.8。这20个通道分别是第5、13、15、17、20、23、31、32、34、36、38、40、42、43、46、47、55、57、62、64通道。通过将上述20个通道与图4或图8对比分析，上述通道的特征激活图无法有效提取出肺炎CT图像的细粒度特征，对通道进行压缩调整。
表5使用KNN算法对测试集CT图像提取的特征进行分类。如表5所示优化SqueezeNet在分类准确率、F1二项指标上要优于其他6个对比算法，敏感度与ResNet网络相当。表6采用SVM对测试集CT图像提取的特征进行分类。如表6所示，在五项评价指标上优化的SqueezeNet网络全部优于6个对比算法。表7是使用RF算法对测试集CT图像提取的特征进行分类。如表7所示，在分类精确率和特异性两个指标优于对比算法，分类准确率与DenseNet网络一致。此外，优化SqueezeNet网络的各项指标均优于原始的SqueezeNet网络。
表5KNN分类结果比较(％)
Figure GDA0004181777380000141
表6SVM分类结果比较(％)
Figure GDA0004181777380000142
表7RF分类结果比较(％)
Figure GDA0004181777380000151
根据表5、表6、表7数据纵向对比，优化的模型提取的特征在SVM分类器上具有较好的鲁棒性并且分类准确率达到93.3％，分类精确率96.9％和特异性97.5％。
表8不同算法模型大小及分类时间比较( )
Figure GDA0004181777380000152
如表8所示，优化SqueezeNet网络模型大小仅3.1M，远低于原始的SqueezeNet网络和其余五个对比算法，并且用KNN、SVM和RF进行分类预测时，优化SqueezeNet网络所用时间最短，进一步验证了优化SqueezeNet网络模型的高效性。
综上所述，应用优化的SqueezeNet网络，通过对CT图像进行预处理，采用特征激活可视化及图像特征相似度度量的方法，调整网络迁移层数及各层通道数，减少超参数调整，解决少量带标签CT图像的模型训练问题。最后通过实验验证优化SqueezeNet网络在三种分类器最高分类准确率达到93.3％，最高精确率达到96.9％均优于6个对比算法。同时优化SqueezeNet网络在肺炎CT图像数据集上5项评价指标均优于原始SqueezeNet网络，验证SqueezeNet网络优化的有效性。此外，优化SqueezeNet网络模型最小，且在不同分类器上分类时间最少，具有较高的分类效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于特征迁移的肺部CT图像分类方法，其特征在于，包括如下步骤：
步骤1：图像预处理
图像预处理利用现有的小规模的带标签的CT图像样本，预处理包括对CT图像样本的噪声滤波、对比对拉伸、肺部CT图像数据增强；
步骤2：迁移学习
使用迁移学习的方法解决小规模CT图像样本训练网络产生的过拟合问题；
步骤3：改进SqueezeNet网络架构
使用在ImageNet数据集上预训练的SqueezeNet网络进行低层次特征迁移学习，根据肺炎CT图像特定细粒度类别，通过对原始SqueezeNet网络的主要节点进行特征可视化，通过特征可视化，设定在所有特征通道中首次出现50％以上通道的特征出现无法正常识别出肺部的纹理轮廓信息时，确定该层之后的网络层对CT图像低层次特征的提取敏感度低；
步骤4：改进SqueezeNet网络伪代码；步骤4的算法如下：
输入：CT图像及图像标签，冻结层数，最大验证精度Amax＝0,N＝0；
输出：CT图像的混淆矩阵，分类准确率，分类精确率；
a)对原始CT图像滤波拉伸以及数据增强；
b)处理后的CT图像输入到改进的预训练SqueezeNet网络；
c)forepoch＝1：k；
d)计算样本损失；
e)用Adam优化器更新网络权重和偏置；
f)endfor；
g)训练集训练一遍后用验证集验证分类准确率Ai，保存对应网络；
h)判断Ai是否大于Amax,若是，Amax＝Ai,计数器N清零,重复步骤c至步骤g，反之，N＝N+1，当N小于20时，重复步骤c至步骤g；
i)当N＝20，触发早停机制，训练提前结束；
j)用验证精度最高时对应的网络对测试集图像进行特征提取；
k)使用KNN、SVM和随机森林进行特征分类得到预测结果和分类时间；
l)通过图像标签和预测结果得到CT图像的混淆矩阵，分类准确率，分类精确率；
返回：混淆矩阵，分类准确率，分类精确率。
2.如权利要求1所述的基于特征迁移的肺部CT图像分类方法，其特征在于，对于CT图像样本的噪声滤波，由于不同的CT设备生成的图像具有不同的高斯噪声，图像预处理阶段引入了自适应二维高斯噪声滤波技术。
3.如权利要求1所述的基于特征迁移的肺部CT图像分类方法，其特征在于，对于对比对拉伸，为提取CT图像信息，对滤除噪声后的图像进行对比度拉伸，把CT图像的像素点从拓展到0到255。
4.如权利要求1所述的基于特征迁移的肺部CT图像分类方法，其特征在于，对于肺部CT图像数据增强，图像增强的目的是增加训练样本的多样性，调整图像的通道数和图像像素大小以匹配网络输入，图像增强采用的方式包括对图像进行随机缩放、随机旋转角度、像素平移、水平或垂直镜像、调整图像的像素大小。
CN202110769959.1A 2021-07-07 2021-07-07 基于特征迁移的肺部ct图像分类方法 Active CN113486959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769959.1A CN113486959B (zh) 2021-07-07 2021-07-07 基于特征迁移的肺部ct图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769959.1A CN113486959B (zh) 2021-07-07 2021-07-07 基于特征迁移的肺部ct图像分类方法

Publications (2)

Publication Number Publication Date
CN113486959A CN113486959A (zh) 2021-10-08
CN113486959B true CN113486959B (zh) 2023-06-16

Family

ID=77937884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769959.1A Active CN113486959B (zh) 2021-07-07 2021-07-07 基于特征迁移的肺部ct图像分类方法

Country Status (1)

Country Link
CN (1) CN113486959B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN111611924A (zh) * 2020-05-21 2020-09-01 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN111611924A (zh) * 2020-05-21 2020-09-01 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
利用深度学习技术辅助肺结节的人工智能检测;王成弟;郭际香;杨阳;徐修远;胡亦清;杨澜;章毅;李为民;;中国呼吸与危重监护杂志(第03期);全文 *
深度学习在医学影像中的应用;杨丽洋;文戈;;分子影像学杂志(第02期);全文 *

Also Published As

Publication number Publication date
CN113486959A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
He et al. Hookworm detection in wireless capsule endoscopy images with deep learning
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
Yi et al. Optimizing and visualizing deep learning for benign/malignant classification in breast tumors
Sert et al. Ensemble of convolutional neural networks for classification of breast microcalcification from mammograms
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
CN111275116A (zh) 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法
CN110706225B (zh) 基于人工智能的肿瘤识别系统
CN113256561B (zh) 一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法
Kashyap Dilated residual grooming kernel model for breast cancer detection
Ghongade et al. Detection and classification of breast cancer from digital mammograms using RF and RF-ELM algorithm
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
Saki et al. A novel opposition-based classifier for mass diagnosis in mammography images
Alves et al. Extracting lungs from ct images using fully convolutional networks
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Kumar et al. Idc breast cancer detection using deep learning schemes
CN114565786A (zh) 基于通道注意力机制的断层扫描图像分类装置和方法
CN113066054B (zh) 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法
Mohan et al. MRI Brain Tumor Detection and Classification Using U-NET CNN
Bhat et al. Convolutional neural network approach for the classification and recognition of lung nodules
CN110136112B (zh) 一种基于乳腺x线摄影钙化计算机辅助检测算法
CN110084796B (zh) 一种复杂纹理ct图像的分析方法
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
CN113486959B (zh) 基于特征迁移的肺部ct图像分类方法
CN111709425A (zh) 一种基于特征迁移的肺部ct图像分类方法
CN116630964A (zh) 一种基于离散小波注意力网络的食品图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant