CN110852350A - 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 - Google Patents

一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 Download PDF

Info

Publication number
CN110852350A
CN110852350A CN201911001610.2A CN201911001610A CN110852350A CN 110852350 A CN110852350 A CN 110852350A CN 201911001610 A CN201911001610 A CN 201911001610A CN 110852350 A CN110852350 A CN 110852350A
Authority
CN
China
Prior art keywords
lung
image
scale
nodules
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911001610.2A
Other languages
English (en)
Other versions
CN110852350B (zh
Inventor
张光磊
李泽坤
范广达
邢彤彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911001610.2A priority Critical patent/CN110852350B/zh
Publication of CN110852350A publication Critical patent/CN110852350A/zh
Application granted granted Critical
Publication of CN110852350B publication Critical patent/CN110852350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于多尺度迁移学习的肺结节良恶性分类方法,包括以下几个步骤:S1、对肺部CT影像中的结节进行多尺度采样,获得多尺度感兴趣区域;S2、对上述获得的多尺度感兴趣区域进行预处理,合成三通道RGB图像;S3、初步构建迁移学习网络模型;S4、使用上述合成的RGB图像训练上述初步构建的迁移学习网络模型,获得可对肺结节进行良恶性分类的模型。上述基于迁移学习的肺结节良恶性分类模型构建方法,可以充分利用肺结节内部和外部等不同尺度下的影像学特征进行良恶性判断,只需要提供结节的大致位置,不需要在分类时使用结节的轮廓信息,避免了对结节区域的分割步骤,因此自动化程度更高、实用性更强。

Description

一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
技术领域
本发明涉及一种肺结节良恶性分类模型构建方法和系统。
背景技术
当前,癌症已成为对人类生命健康威胁最大的疾病之一。根据美国癌症协会2018年的统计显示,在2018年全球预计将新增1810万癌症病例,而因癌症死亡的人数预计为960万;在所有癌症中,肺癌患者的人数和死亡率高居首位。肺癌是一种预后很差的疾病,其患者平均五年生存率低于20%。当肺癌进入局部晚期,或存在不可切除的部分,患者只能接受放疗和化疗,其平均生存时间低于12个月。可见,肺癌的早期诊断临床意义十分重大。
肺结节(Pulmonary Nodule)通常是指最大直径不超过3cm的肺内类圆形病灶。影像学表现为密度增高的阴影,可能为单发或者多发,边界可能清晰或模糊。肺结节可分为良性结节和恶性结节,而恶性结节即是肺癌。在计算机断层成像(Computed Tomography,CT)中良性结节和恶性结节具有不同的特征。例如,当结节伴有分叶、刷状毛刺、胸膜牵扯等特征时恶性可能性较大。同时,结节的大小以及在CT影像上表现出的密度和纹理都和其良恶性相关。因此,CT影像筛查可以实现部分肺癌的早期诊断,从而可以显著提高患者的五年生存率。
目前,肺结节良恶性的主要诊断方式包括依靠医生的经验和知识对CT影像数据进行观察并做出判断、患者随访、活组织检查等。然而,仅仅通过影像科医生观察进行诊断的方式准确率还不够高(约70%-85%),同时,阅读大量的影像资料会给医生造成极大的工作负担;患者随访虽能确定恶化的可能,但也可能因此贻误治疗时机;而对于小结节(最大直径小于20mm),活组织检查往往难以进性。计算机辅助诊断的方法可以深入挖掘CT影像中不同类型的影像学特征,辅助医生对早期肺结节的良恶性进行判断,有助于提高医生的诊断准确率、降低医生的工作负担。
在计算机辅助诊断中,通过训练机器学习算法使计算机够根据CT影像数据智能判别肺结节的良恶性是当前的研究热点。传统的机器学习算法包括支持向量机、决策树、主成分分析等,而深度学习是一种新兴的机器学习方法,具有巨大的潜力。然而,带标注的优质数据的匮乏极大限制了深度学习技术在医疗影像识别中的应用,为此需要寻求相应的解决途径。迁移学习由于其所需训练数据量小而具有解决这一问题的潜力。迁移学习是一种新兴的深度学习方法,它主要基于知识可以在不同领域进行迁移的理论基础,可以在小样本数据集上训练出表现较好的模型。迁移学习的应用可以显著缓解因为数据量过小带来的过拟合问题,提升模型的泛化能力,从而可以在数据量相同的情况下,训练得到表现更好的模型。
然而,当前基于迁移学习的肺结节良恶性分类研究较少。同时,在迁移学习模型构建中存在一个共性问题,由于源网络分析的图像为三通道RGB彩色图,而目标域中的胸部CT影像均为单通道灰度图,因此需要将单通道灰度图扩展为三通道RGB图像,然后再输入迁移学习模型进行训练。事实上,这三个通道内的图像信息是完全一样的,会产生大量的信息冗余,不利于分类性能的提高。因此,针对如何充分利用肺结节区域的影像学特征这一问题,需要研究新型迁移学习模型构建方法,进一步提高分类准确率。
发明内容
本发明所要解决的技术问题是:提供一种基于多尺度迁移学习的肺结节良恶性分类方法和系统,以解决在带标注的优质数据匮乏现状下,深度学习技术在医疗影像识别中存在的过拟合问题。提出一种多尺度采样方式,综合利用结节在不同尺度下的影像学特征,提高肺结节良恶性分类模型的准确率。利用本发明所提出技术手段可以提高模型的泛化能力,基于有限的数据集训练获得相比于传统算法具有更好分类效果的模型,为临床医生提供准确高效的肺癌筛查工具。
本发明所采用的技术方案是:一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
S3、初步构建迁移学习网络模型;
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
步骤S1中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
步骤S2中,对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
步骤S3中,迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
步骤S4中,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
一种基于多尺度迁移学习的肺结节良恶性分类系统,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
第一模块中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
第一模块中,合成若干RGB图像的方法为:对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
第二模块中,构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
本发明与现有技术相比的优点在于:
(1)本发明提出了一种用于肺结节良恶性分类的新型迁移学习模型构建方法和系统,通过迁移预先训练好的深度残差网络的除全连接层外的所有层以及上述层的参数以解决制约深度学习技术所需的带标注优质数据匮乏的问题,提高了模型的泛化能力,在数据量相同的情况下,可以训练得到表现更好的模型;
(2)本发明对肺部CT影像中的结节进行多尺度采样的输入方式,相对于任意一种固定采样范围大小的输入方式,多尺度采样可以综合利用不同尺度下的影像学特征,提高肺结节良恶性分类模型的准确率;
(3)本发明提出了一种交替开放卷积网络层数并同时改变学习率大小的训练方法,利用该方法可以有效地加速训练的收敛速度,避免陷入局部最优的问题;
(4)使用本发明的方式构建的模型不需要在分类时使用结节的轮廓信息,只需要提供结节的大致位置,从而避免了对结节区域的分割步骤,自动化程度更高、实用性更强。
附图说明
图1为本发明中基于多尺度采样的肺结节良恶性分类模型构建方法的流程图;
图2为本发明多尺度采样合成输入的方法示意图;
图3为本发明中构建的迁移学习网络的示意图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
如图1所示,一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
S3、初步构建迁移学习网络模型;
构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型;交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。k为正整数。
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
一种基于多尺度迁移学习的肺结节良恶性分类系统,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
实施例:
一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、对结节进行多尺度采样,获得三个不同采样大小的灰度图,为后面的合成输入与训练做准备。
本实施例中步骤S1中的采样边长分别选择为30、62、94像素。由于本实施例是基于LIDC-IDRI数据集的,根据统计,这种采样尺度分布可以更有效的提取结节的信息。其中,当ROI边长为30像素时,该区域可以包含约80%的全部结节,同时对于直径较小的结节这种取样大小也可以保证一定的信噪比,使得网络在处理该输入的时候可以关注到结节的内部信息,如纹理、分叶等;当ROI边长为62像素时,该区域可以包含约99%的全部结节,同时对于大部分结节,该取样大小可以包含一定的周围环境信息,如边缘、毛刺和是否贴壁生长等;当ROI边长为94像素时,该区域可以包含所有结节,同时对于大部分结节,该取样大小可以包含较宏观的周围环境信息,如是否贴壁生长,与气管、血管的距离等。
S2、对获得的多尺度采样感兴趣区域灰度图进行一定的图像增强和放大,最终合成为一张RGB图像,如此处理后的图像可以满足网络的输入要求。
对于获得的多尺度采样感兴趣区域灰度图,其对比度、清晰度往往不佳。因此需要进行一定的图像增强以使得这些图像的特征更加清晰、更容易被分类。本发明中应用了标准化和直方图均衡化的方法进行图像增强。
原始CT影像数据中每个像素的具体值代表了该点豪恩斯菲尔德值(Hounsfieldscale,HU)。该值用于描述物质的放射密度。以水密度为0,肺部的HU值通常在-500左右。通常,常见的灰度图的单像素取值范围为0-255。通过线性变换将取得的所有ROI区域中的HU值通过线性变换映射到0-255区间内。这种处理方式称为标准化,既不改变原图片的纹理特征,又能使得所有ROI区域的对比度得到统一,同时也可以起到对比度增强的效果。
在对整张图片进行直方图均衡化以后,可以观察到很多地方的噪声被放大了,同时损失了结节内部的部分信息。这是因为这种直方图均衡化不局限于某一区域,而是对整张图进行了均衡。而提取出的ROI区域中背景部分和结节内部亮度差异很大,进行直方图均衡化以后会部分高亮区域过亮,部分暗部噪声被放大的问题。因此,本发明利用了一种名为自适应直方图均衡化的方法解决这一问题。自适应直方图均衡化可以将整个图片分为若干部分,对每部分单独应用直方图均衡化。同时,对各个区域内的像素级差进行限制。这种操作可以抑制噪声被放大的问题。最终,通过双线性插值的方法将各个区域统一起来,避免出现新增边界的问题。经过自适应直方图均衡化,结节中原有的纹理信息、毛刺信息变得更加明显了。
对于迁移学习技术,构建的目标网络模型的输入格式需要与源网络保持一致。比如,迁移的模型可以是在ImageNet上预先训练好的,该数据库上的图片均为大小为224*224像素的三通道RGB图像。因此,将增强后的多尺度采样感兴趣区域灰度图通过双三次插值放大到224×224像素大小,并将来自同一个CT影像中同一个结节的三张放大后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。整个多尺度采样过程和合成后的图像数据示例如图2所示。
S3、初步构建的迁移学习模型主要由两部分组成,如图3所示,其中一部分迁移了在ImageNet数据集上预先训练好的深度残差网络(Deep residual network,ResNet)的除全连接层外的所有层以及上述层的参数,另一部分为连接在上述层之后的三个神经元个数分别为1024、512、2的参数随机初始化的全连接层。
本发明所迁移的源网络为在ImageNet数据集上预先训练好的ResNet,该网络采用了独创性的短路连接网络结构。这种使用残差学习的方法克服了层次过深的神经网络产生的退化问题。该网络在多个领域已经取得了成功应用。同时,有研究表明该网络在迁移学习中的表现相对于其它网络效果更好。
在本发明的网络设计中,直接迁移了ResNet的卷积层结构以及其参数。同时,抛弃了原来ResNet网络的全连接层,转而添加了两个参数随机初始化的神经元个数分别为1024和512的新的全连接层。这主要是因为源域ImageNet中自然图像和目标域中的医学影像差异较大,使用源网络的全连接层设计及其参数进行初始化可能会产生负迁移的问题,或者容易收敛到局部最优;同时,由于目标域中数据较少,直接迁移全连接层将会使得需要训练的参数量过大,容易产生过拟合。最后,根据二分类目标,在顶层连接了一个由2个神经元构成的输出层。全连接层采用了Relu激活函数,它可以将所有负值变为零,而正值不改变。这种函数为网络添加了非线性成分,使网络具有稀疏激活性。其优点是表达能力强,不易产生梯度消失,模型训练获得的结果稳定。
为了进一步的避免过拟合增强模型的泛化能力,同时保持模型的学习能力,在全连接层中加入了Dropout和正则化项策略。Dropout是指在训练中对于某一次迭代,按照一定概率随机抛弃某一层中的部分神经元,相当于对于每次迭代训练的都是不同的神经网络。这个概率一般设定为0.5-0.2之间。其中该值设定为0.5时产生的变化数最多,但是容易使结果不稳定,收敛速度慢。在本实施例中,由于全连接层已经比较小,Dropout率设置为了0.3。
正则化是指在损失函数中添加一个跟参数大小有关的项,以尽可能使参数值保持在一个较小的量级上,从而限制参数的取值范围,避免出现过拟合现象。本发明采用的是L2正则化。L2正则化是在损失函数上添加参数的L2范数。这样,当优化目标函数设置为添加了正则化项后的损失函数时,可以限制参数的取值范围。在本实施例中,使用L2正则化时系数设置为0.001。
S4、使用上述合成的RGB图像作为输入,训练上述初步构建的迁移学习网络模型,获得可对肺结节进行良恶性分类的迁移学习网络模型。
在本实施例中,训练网络采用的优化器为Adam优化器,只调节其学习率而其它参数采用Keras框架中的默认参数。损失函数采用交叉熵损失函数。具体的训练过程采用:首先,冻结从源网络迁移过来的所有神经网络层的参数,使用一个较大的学习率(0.02)训练新搭建的全连接层2个Epoch,本实施例中每当所有训练集不重复的输入到网络中进行训练一次称为一个Epoch。此时可以认为网络底层中属于源网络的部分是一个在源域中训练好的特征提取器。该阶段的网络训练目的是应用目标域中数据训练一个由全连接层构成的分类器,从而根据提取到的特征构建分类模型。之后,开放网络中的所有层,使用一个较小的学习率(0.002)进行训练,微调所有参数共6个Epoch。这是常见的迁移学习Fine-tune参数调整策略。当微调效果不明显,模型分类准确率上升到一个平稳期以后,再次冻结所有源网络参数,以较大学习率训练新构建的全连接层,之后重复Fine-tune操作,如此进行3次循环。
S5、获得未标记的肺部CT图像,放入S4中建立的可对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,直接输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (10)

1.一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
S3、初步构建迁移学习网络模型;
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
2.根据权利要求1所述的一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,步骤S1中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
3.根据权利要求1或2所述的一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,步骤S2中,对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
4.根据权利要求3所述的一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,步骤S3中,迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
5.根据权利要求3所述的一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,步骤S4中,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
6.一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
7.根据权利要求6所述的一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,第一模块中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
8.根据权利要求6或7所述的一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,第一模块中,合成若干RGB图像的方法为:对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
9.根据权利要求8所述的一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,第二模块中,构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
10.根据权利要求9所述的一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
CN201911001610.2A 2019-10-21 2019-10-21 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 Active CN110852350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911001610.2A CN110852350B (zh) 2019-10-21 2019-10-21 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911001610.2A CN110852350B (zh) 2019-10-21 2019-10-21 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统

Publications (2)

Publication Number Publication Date
CN110852350A true CN110852350A (zh) 2020-02-28
CN110852350B CN110852350B (zh) 2022-09-09

Family

ID=69597808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911001610.2A Active CN110852350B (zh) 2019-10-21 2019-10-21 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统

Country Status (1)

Country Link
CN (1) CN110852350B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709425A (zh) * 2020-05-26 2020-09-25 漳州卫生职业学院 一种基于特征迁移的肺部ct图像分类方法
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法
CN112926547A (zh) * 2021-04-13 2021-06-08 北京航空航天大学 飞行器电信号分类和识别的小样本迁移学习方法
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN113345576A (zh) * 2021-06-04 2021-09-03 江南大学 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113592027A (zh) * 2021-08-16 2021-11-02 南京工程学院 一种基于迁移学习的医疗图像分类方法
CN115345803A (zh) * 2022-10-19 2022-11-15 合肥视微科技有限公司 基于残差网络的ct断层图中环形伪影校正方法
CN115393301A (zh) * 2022-08-16 2022-11-25 中山大学附属第一医院 一种肝脏二维剪切波弹性图像的影像组学分析方法和装置
TWI809488B (zh) * 2021-08-31 2023-07-21 中國醫藥大學 肝細胞癌微血管浸潤評估方法及其評估系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
CN107180426A (zh) * 2017-06-06 2017-09-19 西北工业大学 基于可迁移的多模型集成的计算机辅助肺结节分类方法
CN108734210A (zh) * 2018-05-17 2018-11-02 浙江工业大学 一种基于跨模态多尺度特征融合的对象检测方法
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
US20190287242A1 (en) * 2018-03-16 2019-09-19 Infervision Computed tomography pulmonary nodule detection method based on deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
CN107180426A (zh) * 2017-06-06 2017-09-19 西北工业大学 基于可迁移的多模型集成的计算机辅助肺结节分类方法
US20190287242A1 (en) * 2018-03-16 2019-09-19 Infervision Computed tomography pulmonary nodule detection method based on deep learning
CN108734210A (zh) * 2018-05-17 2018-11-02 浙江工业大学 一种基于跨模态多尺度特征融合的对象检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐思源 等: "基于深度卷积神经网络的肺结节检测与识别", 《科学技术与工程》 *
郑光远 等: "医学影像计算机辅助检测与诊断系统 综述", 《软件学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709425A (zh) * 2020-05-26 2020-09-25 漳州卫生职业学院 一种基于特征迁移的肺部ct图像分类方法
CN112633336A (zh) * 2020-12-10 2021-04-09 重庆大学 一种基于多尺度特征融合的肺结节识别分类方法
CN112926547A (zh) * 2021-04-13 2021-06-08 北京航空航天大学 飞行器电信号分类和识别的小样本迁移学习方法
CN112926547B (zh) * 2021-04-13 2022-03-29 北京航空航天大学 飞行器电信号分类和识别的小样本迁移学习方法
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN113345576A (zh) * 2021-06-04 2021-09-03 江南大学 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法
CN113506289B (zh) * 2021-07-28 2024-03-29 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113592027A (zh) * 2021-08-16 2021-11-02 南京工程学院 一种基于迁移学习的医疗图像分类方法
TWI809488B (zh) * 2021-08-31 2023-07-21 中國醫藥大學 肝細胞癌微血管浸潤評估方法及其評估系統
CN115393301A (zh) * 2022-08-16 2022-11-25 中山大学附属第一医院 一种肝脏二维剪切波弹性图像的影像组学分析方法和装置
CN115393301B (zh) * 2022-08-16 2024-03-12 中山大学附属第一医院 一种肝脏二维剪切波弹性图像的影像组学分析方法和装置
CN115345803A (zh) * 2022-10-19 2022-11-15 合肥视微科技有限公司 基于残差网络的ct断层图中环形伪影校正方法

Also Published As

Publication number Publication date
CN110852350B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN110852350B (zh) 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
Saba Recent advancement in cancer detection using machine learning: Systematic survey of decades, comparisons and challenges
Rajan et al. Brain tumor detection and segmentation by intensity adjustment
US10111632B2 (en) System and method for breast cancer detection in X-ray images
JP2021518966A (ja) 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム
Salama et al. An improved approach for computer-aided diagnosis of breast cancer in digital mammography
Karim et al. DeepKneeExplainer: explainable knee osteoarthritis diagnosis from radiographs and magnetic resonance imaging
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
WO2021114130A1 (zh) 一种无监督自适应乳腺病变分割方法
Srinivasa Reddy et al. MRI brain tumor segmentation and prediction using modified region growing and adaptive SVM
Lobo et al. Classification and segmentation techniques for detection of lung cancer from CT images
CN116030325A (zh) 基于深度混合学习框架的肺结节ct图像识别方法
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
Krishna et al. Classification of liver tumor using SFTA based Naïve Bayes classifier and support vector machine
CN108765431B (zh) 一种图像的分割方法及其在医学领域的应用
Lin et al. The application of traditional machine learning and deep learning techniques in mammography: a review
CN114565786A (zh) 基于通道注意力机制的断层扫描图像分类装置和方法
Sachdeva et al. The power of deep learning for intelligent tumor classification systems: A review
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
Shaban et al. An in-depth review of AI-based techniques for early diagnosis of breast cancer: Evaluation of CAD system design and classification methodologies
Vijayarajan et al. A novel comparative study on breast cancer detection using different types of classification techniques
Indu et al. Diagnosis of lung cancer nodules in ct scan images using fuzzy neural network
Chugh et al. Morphological and otsu’s technique based mammography mass detection and deep neural network classifier based prediction
Saturi et al. Modelling of deep learning enabled lung disease detection and classification on chest X-ray images
Assir et al. Fully Automatic Computer-Aided Detection of Breast Cancer based on Genetic Algorithm Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant