CN111709425A - 一种基于特征迁移的肺部ct图像分类方法 - Google Patents

一种基于特征迁移的肺部ct图像分类方法 Download PDF

Info

Publication number
CN111709425A
CN111709425A CN202010457861.8A CN202010457861A CN111709425A CN 111709425 A CN111709425 A CN 111709425A CN 202010457861 A CN202010457861 A CN 202010457861A CN 111709425 A CN111709425 A CN 111709425A
Authority
CN
China
Prior art keywords
image
network
classification
lung
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010457861.8A
Other languages
English (en)
Inventor
杨东海
陈小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangzhou Health Vocational College
Original Assignee
Zhangzhou Health Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangzhou Health Vocational College filed Critical Zhangzhou Health Vocational College
Priority to CN202010457861.8A priority Critical patent/CN111709425A/zh
Publication of CN111709425A publication Critical patent/CN111709425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种基于特征迁移的肺部CT图像分类方法。该技术方案通过对CT图像数据进行预处理、数据增强、特征可视化确定预训练GoogLeNet网络的深度和冻结层数,有效的提取图像内在信息,提高了模型的分类准确率和分类效率。本发明采用自适应CT图像滤波算法对实现不同设备采集的图像进行滤波;对CT图像进行对比度拉伸,丰富了图像信息,更好地提取图像特征;使用特征图可视化技术为模型的网络深度确定提供了一种选择,减少超参数调整。应用本发明,可解决无标签图像的特征提取问题,缓解高维图像数据分类面临的维数灾难问题,使图像分类的准确率得到显著提升。

Description

一种基于特征迁移的肺部CT图像分类方法
技术领域
本发明涉及机器学习领域,具体涉及一种基于特征迁移的肺部CT图像分类方法。
背景技术
冠状病毒是自然界广泛存在的一大类病毒,其中多种毒株对包括人在内的脊椎动物具有感染性。早发现、早确诊、早隔离是控制此类疾病传播的重要方法,由于核酸检测存在检测速度不够快,并存在核酸检测敏感度问题可能导致假阴性情况的出现。因此,利用计算机视觉对可能的新冠肺炎筛CT图像进行辅助诊断能够有效降低新冠肺炎的漏诊或者误诊率,缓解医疗资源的不足。
目前,基于深度学习框架的新冠肺炎检测及基于迁移学习的新冠肺炎检测方法一般采用对图像进行数据增强,接着使用深度学习框架对图像进行特征提取,最后使用训练完成模型进行计算机辅助诊断。然而,基于深度学习的方法需要大量带标记的图像数据来训练模型,这种方式对计算机硬件要求高。基于迁移学习的方法可以降低模型训练对训练数据规模的依赖,但现有的深度模型往往具有较高的网络深度,直接使用现有的模型难以适用于新型冠状肺炎的检测。
发明内容
本发明旨在针对现有技术的技术缺陷,提供一种基于特征迁移的肺部CT图像分类方法,以解决现有技术中,常规方法对模型分类的准确率和效率较低的技术问题。
为实现以上技术目的,本发明采用以下技术方案:
一种基于特征迁移的肺部CT图像分类方法,包括:
1)在图像预处理阶段采用自适应二维高斯噪声滤波方法对图像进行滤波;
2)图像滤波之后采用对比度拉伸进行处理;
3)对数据进行放缩、旋转、平移或镜像处理,并调整图像的大小;
4)调整网络输出以适应分类类别数;
5)采用可视化技术优化模型网络深度。
作为优选,步骤1)所述采用自适应二维高斯噪声滤波方法对图像进行滤波,是通过以下式1、式2实现的:
Figure RE-GDA0002641206580000021
Figure RE-GDA0002641206580000022
其中,η是图像A中每个像素的x×y局部邻域;
采用以上估计值创建像素级滤波器f如下:
Figure RE-GDA0002641206580000023
式3中,v2是噪声方差。
作为优选,当没有给出噪声方差时,使用所有局部估计方差的平均值。
作为优选,所述采用对比度拉伸进行处理,是通过以下式4实现的:
Figure RE-GDA0002641206580000024
作为优选,步骤3)中,调整图像的大小以适应GoogLeNet网络的输入。
作为优选,步骤5)中,使用CT图像输入网络,观察不同层的特征输出,确定网络深度。
本发明提供了一种基于特征迁移的肺部CT图像分类方法。该技术方案提出一种无监督图像特征提取融合及分类方法和系统,解决无标签图像的特征提取问题,缓解高维图像数据分类面临的“维数灾难”问题,从而提高图像的分类准确率。具体来看,本发明首先通过自适应二维高斯噪声滤波技术、对比度拉伸对图像进行预处理,而后进行数据增强、特征迁移、特征可视化确定网络深度,并采取了网络层冻结技术。
本发明是一种基于图像特征迁移的CT图像分类方法,通过对CT图像数据进行预处理、数据增强、特征可视化确定预训练GoogLeNet网络的深度,有效的提取图像内在信息,提高了模型的分类准确率和分类效率。
本发明的创新性特征集中体现在以下方面:
1、采用自适应CT图像滤波算法对实现不同设备采集的图像进行滤波。
2、对CT图像进行对比度拉伸,丰富了图像信息,更好地提取图像特征。
3、使用特征图可视化技术为模型的网络深度确定提供了一种选择,减少超参数调整。
附图说明
图1是本发明方法的原理图;
图2是本发明的算法流程图;
图3是本发明具体实施方式中,部分数据集CT图像;
图4是本发明具体实施方式中,图像预处理结果图;
图5是本发明具体实施方式中,图像增强结果图;
图6是本发明具体实施方式中,输入图像和第2、11、25层特征图;
图7是本发明具体实施方式中,输入图像和第39、54、68、82层特征图;
图8是本发明具体实施方式中,输入图像和第96、100、125、139层特征图;
图9是本发明具体实施方式中,冻结前39层网络训练过程图;
图10是本发明具体实施方式中,冻结前54层网络训练过程图;
图11是本发明具体实施方式中,冻结前110层网络训练过程图;
图12是本发明具体实施方式中,冻结前125层网络训练过程。
具体实施方式
以下将对本发明的具体实施方式进行详细描述。为了避免过多不必要的细节,在以下实施例中对属于公知的结构或功能将不进行详细描述。以下实施例中所使用的近似性语言可用于定量表述,表明在不改变基本功能的情况下可允许数量有一定的变动。除有定义外,以下实施例中所用的技术和科学术语具有与本发明所属领域技术人员普遍理解的相同含义。
为了不同设备生成的CT图像产生噪声及训练样本规模有限的问题,本发明提出了一种基于特征迁移的新冠肺炎计算机辅助诊断方法,进行新冠肺炎CT图像的分类学习。
1、为进一步减少不同CT设备生成CT图像具有不同的噪声系,图像预处理阶段引入了自适应二维高斯噪声滤波技术。
Figure RE-GDA0002641206580000041
Figure RE-GDA0002641206580000042
η是图像A中每个像素的x×y局部邻域。使用这些估计值创建像素级滤波器f如下:
Figure RE-GDA0002641206580000043
式3中,v2是噪声方差。如果没有给出噪声方差,则使用所有局部估计方差的平均值。
2、图像滤波之后采用对比度拉伸进行处理,方法如下:
Figure RE-GDA0002641206580000044
3、为了增加数据训练数据规模以及提高模型的泛化性能,对数据进行放缩、旋转、平移、镜像,并调整图像的大小以适应GoogLeNet网络的输入。
4、调整网络输出以适应分类类别数,因训练数据只有新冠肺炎和非新冠肺炎两类图像,因此调整模型输出使其使用对应的应用场景。
5、采用可视化技术优化模型网络深度。通过使用CT图像输入网络,观察不同层的特征输出,确定网络深度,有效减少网络训练时间及缓解模型过拟合。
本发明的原理如图1所示。
根据上述过程,伪代码如以下表1所示:
表1伪代码列表
Figure RE-GDA0002641206580000045
Figure RE-GDA0002641206580000051
本发明的算法流程如图2所示。
实施例
采用https://github.com/UCSD-AI4H/COVID-CT网站上公开的数据集来进行验证。该数据集是发布者从medRxiv1和bioRxiv2收集了760个关于COVID-19 的文章,并于1月19日至3月发布25日。这些文章中有许多报告了COVID-19 的病例,有些还显示了报告中有CT扫描,以及相关的临床表现的说明相关。使用PyMuPDF3来提取文章中PDF文件的底层结构信息,并定位所有嵌入的图形。图像的质量(包括分辨率、大小等)保存得很好。最后,获得275个CT扫描标记为COVID-19阳性。图3显示了COVID-19CT扫描的一些示例。
图像滤波及对比度拉伸结果图4所示,其中左侧为原始CT图像,中间为自适应噪声滤波后图像,右侧为对比度拉伸后图像:
网络批输入增强图像如图5,增强图像是原始图像上进行随机的像素平移,随机翻转、图像缩放处理。
为了方便显示,根据GoogLeNet网络整体性及层特点。取第2、11、25、39、 54、68、82、96、110、125、139网络层的前64通道的图像特征图如图6、图7、图8所示。
医学图像分类的关键是区分图像中细粒度的特征,根据该原则,依据上述特征图,确定网络总深度为130层,即GoogLeNet网络的前125层和以及改动的最后的5层(2个pool层、1个loss层、1个softmax层,1个output层)。取前125层原因是前125层之后的特征图大多数特征图显示为块状成片区域,无助于医学图像的细粒度特征识别。为加快网络训练,采用部分网络层冻结方法。并分别冻结前39层,前54层,前110层,125层。网络训练过程如图9、10、11、 12所示。
表2不同冻结层数的分类最高准确率
冻结层数 39 54 110 125
分类最高准确率 87.96% 88.39% 84.82% 84.16%
如表2所示,通过测试集去验证模型泛化性能之后可知,当冻结层前54层分类准确度最高,冻结层数越多,训练所用时间,但容易出现欠拟合,冻结层数越少,可能出现过拟合。最终模型冻结网络前54层,模型泛化性能最佳。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,并不用以限制本发明。凡在本发明的申请范围内所做的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于特征迁移的肺部CT图像分类方法,其特征在于,包括:
1)在图像预处理阶段采用自适应二维高斯噪声滤波方法对图像进行滤波;
2)图像滤波之后采用对比度拉伸进行处理;
3)对数据进行放缩、旋转、平移或镜像处理,并调整图像的大小;
4)调整网络输出以适应分类类别数;
5)采用可视化技术优化模型网络深度。
2.根据权利要求1所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,步骤1)所述采用自适应二维高斯噪声滤波方法对图像进行滤波,是通过以下式1、式2实现的:
Figure FDA0002508649800000011
Figure FDA0002508649800000012
其中,η是图像A中每个像素的x×y局部邻域;
采用以上估计值创建像素级滤波器f如下:
Figure FDA0002508649800000013
式3中,v2是噪声方差。
3.根据权利要求2所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,当没有给出噪声方差时,使用所有局部估计方差的平均值。
4.根据权利要求2所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,所述采用对比度拉伸进行处理,是通过以下式4实现的:
Figure FDA0002508649800000014
5.根据权利要求1所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,步骤3)中,调整图像的大小以适应GoogLeNet网络的输入。
6.根据权利要求1所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,步骤5)中,使用CT图像输入网络,观察不同层的特征输出,确定网络深度。
CN202010457861.8A 2020-05-26 2020-05-26 一种基于特征迁移的肺部ct图像分类方法 Pending CN111709425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457861.8A CN111709425A (zh) 2020-05-26 2020-05-26 一种基于特征迁移的肺部ct图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457861.8A CN111709425A (zh) 2020-05-26 2020-05-26 一种基于特征迁移的肺部ct图像分类方法

Publications (1)

Publication Number Publication Date
CN111709425A true CN111709425A (zh) 2020-09-25

Family

ID=72538285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457861.8A Pending CN111709425A (zh) 2020-05-26 2020-05-26 一种基于特征迁移的肺部ct图像分类方法

Country Status (1)

Country Link
CN (1) CN111709425A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113132A (zh) * 2021-03-25 2021-07-13 华南理工大学 一种基于深度卷积神经网络的先天性巨结肠及同源病的诊断方法
CN113255794A (zh) * 2021-06-01 2021-08-13 闽南师范大学 一种基于GoogLeNet网络的医学图像分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN109740697A (zh) * 2019-03-05 2019-05-10 重庆大学 基于深度学习的尿沉渣显微图像有形成分识别方法
CN110236533A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110680326A (zh) * 2019-10-11 2020-01-14 北京大学第三医院(北京大学第三临床医学院) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
CN110852350A (zh) * 2019-10-21 2020-02-28 北京航空航天大学 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN109740697A (zh) * 2019-03-05 2019-05-10 重庆大学 基于深度学习的尿沉渣显微图像有形成分识别方法
CN110236533A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110680326A (zh) * 2019-10-11 2020-01-14 北京大学第三医院(北京大学第三临床医学院) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110852350A (zh) * 2019-10-21 2020-02-28 北京航空航天大学 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY: "Going Deeper with Convolutions", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
VINICIUS PAVANELLI VIANNA: "Study and development of a Computer-Aided Diagnosis system for classification of chest x-ray images using convolutional neural networks pre-trained for ImageNet and data augmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
何新宇等: "基于深度神经网络的肺炎图像识别模型", 《计算机应用》 *
张驰名等: "基于深度迁移学习的肺结节辅助诊断方法", 《计算机工程》 *
黄盛等: "基于改进深度残差网络的计算断层扫描图像分类算法", 《光学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113132A (zh) * 2021-03-25 2021-07-13 华南理工大学 一种基于深度卷积神经网络的先天性巨结肠及同源病的诊断方法
CN113255794A (zh) * 2021-06-01 2021-08-13 闽南师范大学 一种基于GoogLeNet网络的医学图像分类方法

Similar Documents

Publication Publication Date Title
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN107230202B (zh) 路面病害图像的自动识别方法和系统
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
Valliammal et al. Hybrid image segmentation algorithm for leaf recognition and characterization
CN101826209A (zh) 一种基于Canny模型的三维医学图像分割方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
Chen et al. Cell nuclei detection and segmentation for computational pathology using deep learning
CN111709425A (zh) 一种基于特征迁移的肺部ct图像分类方法
CN112581450B (zh) 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法
CN110543906A (zh) 基于数据增强和Mask R-CNN模型的肤质自动识别方法
Zhang et al. Robust segmentation method for noisy images based on an unsupervised denosing filter
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN115601330A (zh) 一种基于多尺度空间反向注意力机制的结肠息肉分割方法
CN113066054A (zh) 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法
CN111275732B (zh) 一种基于深度卷积神经网络的前景对象图像分割方法
CN113222903A (zh) 一种全切片组织病理图像分析方法及系统
CN112801992A (zh) 基于3d残差网络的肺结节图像分类方法
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN113139423B (zh) 一种用于场景图检测的关系图学习方法
CN114693698B (zh) 一种基于神经网络的计算机辅助肺气道分割方法
CN112101409B (zh) 基于病理图像的肿瘤突变负荷(tmb)分类方法与系统
CN110705570B (zh) 一种图像特征识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925