CN110852350B - 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 - Google Patents
一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 Download PDFInfo
- Publication number
- CN110852350B CN110852350B CN201911001610.2A CN201911001610A CN110852350B CN 110852350 B CN110852350 B CN 110852350B CN 201911001610 A CN201911001610 A CN 201911001610A CN 110852350 B CN110852350 B CN 110852350B
- Authority
- CN
- China
- Prior art keywords
- image
- lung
- network
- nodules
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005012 migration Effects 0.000 title claims abstract description 37
- 238000013508 migration Methods 0.000 title claims abstract description 37
- 230000003211 malignant effect Effects 0.000 title claims abstract description 33
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 19
- 210000004072 lung Anatomy 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 38
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 35
- 238000013526 transfer learning Methods 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 18
- 206010028980 Neoplasm Diseases 0.000 claims description 11
- 201000011510 cancer Diseases 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 230000036210 malignancy Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 44
- 206010054107 Nodule Diseases 0.000 description 30
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 7
- 201000005202 lung cancer Diseases 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于多尺度迁移学习的肺结节良恶性分类方法,包括以下几个步骤:S1、对肺部CT影像中的结节进行多尺度采样,获得多尺度感兴趣区域;S2、对上述获得的多尺度感兴趣区域进行预处理,合成三通道RGB图像;S3、初步构建迁移学习网络模型;S4、使用上述合成的RGB图像训练上述初步构建的迁移学习网络模型,获得可对肺结节进行良恶性分类的模型。上述基于迁移学习的肺结节良恶性分类模型构建方法,可以充分利用肺结节内部和外部等不同尺度下的影像学特征进行良恶性判断,只需要提供结节的大致位置,不需要在分类时使用结节的轮廓信息,避免了对结节区域的分割步骤,因此自动化程度更高、实用性更强。
Description
技术领域
本发明涉及一种肺结节良恶性分类模型构建方法和系统。
背景技术
当前,癌症已成为对人类生命健康威胁最大的疾病之一。根据美国癌症协会2018年的统计显示,在2018年全球预计将新增1810万癌症病例,而因癌症死亡的人数预计为960万;在所有癌症中,肺癌患者的人数和死亡率高居首位。肺癌是一种预后很差的疾病,其患者平均五年生存率低于20%。当肺癌进入局部晚期,或存在不可切除的部分,患者只能接受放疗和化疗,其平均生存时间低于12个月。可见,肺癌的早期诊断临床意义十分重大。
肺结节(Pulmonary Nodule)通常是指最大直径不超过3cm的肺内类圆形病灶。影像学表现为密度增高的阴影,可能为单发或者多发,边界可能清晰或模糊。肺结节可分为良性结节和恶性结节,而恶性结节即是肺癌。在计算机断层成像(Computed Tomography,CT)中良性结节和恶性结节具有不同的特征。例如,当结节伴有分叶、刷状毛刺、胸膜牵扯等特征时恶性可能性较大。同时,结节的大小以及在CT影像上表现出的密度和纹理都和其良恶性相关。因此,CT影像筛查可以实现部分肺癌的早期诊断,从而可以显著提高患者的五年生存率。
目前,肺结节良恶性的主要诊断方式包括依靠医生的经验和知识对CT影像数据进行观察并做出判断、患者随访、活组织检查等。然而,仅仅通过影像科医生观察进行诊断的方式准确率还不够高(约70%-85%),同时,阅读大量的影像资料会给医生造成极大的工作负担;患者随访虽能确定恶化的可能,但也可能因此贻误治疗时机;而对于小结节(最大直径小于20mm),活组织检查往往难以进性。计算机辅助诊断的方法可以深入挖掘CT影像中不同类型的影像学特征,辅助医生对早期肺结节的良恶性进行判断,有助于提高医生的诊断准确率、降低医生的工作负担。
在计算机辅助诊断中,通过训练机器学习算法使计算机够根据CT影像数据智能判别肺结节的良恶性是当前的研究热点。传统的机器学习算法包括支持向量机、决策树、主成分分析等,而深度学习是一种新兴的机器学习方法,具有巨大的潜力。然而,带标注的优质数据的匮乏极大限制了深度学习技术在医疗影像识别中的应用,为此需要寻求相应的解决途径。迁移学习由于其所需训练数据量小而具有解决这一问题的潜力。迁移学习是一种新兴的深度学习方法,它主要基于知识可以在不同领域进行迁移的理论基础,可以在小样本数据集上训练出表现较好的模型。迁移学习的应用可以显著缓解因为数据量过小带来的过拟合问题,提升模型的泛化能力,从而可以在数据量相同的情况下,训练得到表现更好的模型。
然而,当前基于迁移学习的肺结节良恶性分类研究较少。同时,在迁移学习模型构建中存在一个共性问题,由于源网络分析的图像为三通道RGB彩色图,而目标域中的胸部CT影像均为单通道灰度图,因此需要将单通道灰度图扩展为三通道RGB图像,然后再输入迁移学习模型进行训练。事实上,这三个通道内的图像信息是完全一样的,会产生大量的信息冗余,不利于分类性能的提高。因此,针对如何充分利用肺结节区域的影像学特征这一问题,需要研究新型迁移学习模型构建方法,进一步提高分类准确率。
发明内容
本发明所要解决的技术问题是:提供一种基于多尺度迁移学习的肺结节良恶性分类方法和系统,以解决在带标注的优质数据匮乏现状下,深度学习技术在医疗影像识别中存在的过拟合问题。提出一种多尺度采样方式,综合利用结节在不同尺度下的影像学特征,提高肺结节良恶性分类模型的准确率。利用本发明所提出技术手段可以提高模型的泛化能力,基于有限的数据集训练获得相比于传统算法具有更好分类效果的模型,为临床医生提供准确高效的肺癌筛查工具。
本发明所采用的技术方案是:一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
S3、初步构建迁移学习网络模型;
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
步骤S1中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
步骤S2中,对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
步骤S3中,迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
步骤S4中,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
一种基于多尺度迁移学习的肺结节良恶性分类系统,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
第一模块中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
第一模块中,合成若干RGB图像的方法为:对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
第二模块中,构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
本发明与现有技术相比的优点在于:
(1)本发明提出了一种用于肺结节良恶性分类的新型迁移学习模型构建方法和系统,通过迁移预先训练好的深度残差网络的除全连接层外的所有层以及上述层的参数以解决制约深度学习技术所需的带标注优质数据匮乏的问题,提高了模型的泛化能力,在数据量相同的情况下,可以训练得到表现更好的模型;
(2)本发明对肺部CT影像中的结节进行多尺度采样的输入方式,相对于任意一种固定采样范围大小的输入方式,多尺度采样可以综合利用不同尺度下的影像学特征,提高肺结节良恶性分类模型的准确率;
(3)本发明提出了一种交替开放卷积网络层数并同时改变学习率大小的训练方法,利用该方法可以有效地加速训练的收敛速度,避免陷入局部最优的问题;
(4)使用本发明的方式构建的模型不需要在分类时使用结节的轮廓信息,只需要提供结节的大致位置,从而避免了对结节区域的分割步骤,自动化程度更高、实用性更强。
附图说明
图1为本发明中基于多尺度采样的肺结节良恶性分类模型构建方法的流程图;
图2为本发明多尺度采样合成输入的方法示意图;
图3为本发明中构建的迁移学习网络的示意图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
如图1所示,一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c。
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。
S3、初步构建迁移学习网络模型;
构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型;交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。k为正整数。
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
一种基于多尺度迁移学习的肺结节良恶性分类系统,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
实施例:
一种基于多尺度迁移学习的肺结节良恶性分类方法,包括步骤如下:
S1、对结节进行多尺度采样,获得三个不同采样大小的灰度图,为后面的合成输入与训练做准备。
本实施例中步骤S1中的采样边长分别选择为30、62、94像素。由于本实施例是基于LIDC-IDRI数据集的,根据统计,这种采样尺度分布可以更有效的提取结节的信息。其中,当ROI边长为30像素时,该区域可以包含约80%的全部结节,同时对于直径较小的结节这种取样大小也可以保证一定的信噪比,使得网络在处理该输入的时候可以关注到结节的内部信息,如纹理、分叶等;当ROI边长为62像素时,该区域可以包含约99%的全部结节,同时对于大部分结节,该取样大小可以包含一定的周围环境信息,如边缘、毛刺和是否贴壁生长等;当ROI边长为94像素时,该区域可以包含所有结节,同时对于大部分结节,该取样大小可以包含较宏观的周围环境信息,如是否贴壁生长,与气管、血管的距离等。
S2、对获得的多尺度采样感兴趣区域灰度图进行一定的图像增强和放大,最终合成为一张RGB图像,如此处理后的图像可以满足网络的输入要求。
对于获得的多尺度采样感兴趣区域灰度图,其对比度、清晰度往往不佳。因此需要进行一定的图像增强以使得这些图像的特征更加清晰、更容易被分类。本发明中应用了标准化和直方图均衡化的方法进行图像增强。
原始CT影像数据中每个像素的具体值代表了该点豪恩斯菲尔德值(Hounsfieldscale,HU)。该值用于描述物质的放射密度。以水密度为0,肺部的HU值通常在-500左右。通常,常见的灰度图的单像素取值范围为0-255。通过线性变换将取得的所有ROI区域中的HU值通过线性变换映射到0-255区间内。这种处理方式称为标准化,既不改变原图片的纹理特征,又能使得所有ROI区域的对比度得到统一,同时也可以起到对比度增强的效果。
在对整张图片进行直方图均衡化以后,可以观察到很多地方的噪声被放大了,同时损失了结节内部的部分信息。这是因为这种直方图均衡化不局限于某一区域,而是对整张图进行了均衡。而提取出的ROI区域中背景部分和结节内部亮度差异很大,进行直方图均衡化以后会部分高亮区域过亮,部分暗部噪声被放大的问题。因此,本发明利用了一种名为自适应直方图均衡化的方法解决这一问题。自适应直方图均衡化可以将整个图片分为若干部分,对每部分单独应用直方图均衡化。同时,对各个区域内的像素级差进行限制。这种操作可以抑制噪声被放大的问题。最终,通过双线性插值的方法将各个区域统一起来,避免出现新增边界的问题。经过自适应直方图均衡化,结节中原有的纹理信息、毛刺信息变得更加明显了。
对于迁移学习技术,构建的目标网络模型的输入格式需要与源网络保持一致。比如,迁移的模型可以是在ImageNet上预先训练好的,该数据库上的图片均为大小为224*224像素的三通道RGB图像。因此,将增强后的多尺度采样感兴趣区域灰度图通过双三次插值放大到224×224像素大小,并将来自同一个CT影像中同一个结节的三张放大后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像。整个多尺度采样过程和合成后的图像数据示例如图2所示。
S3、初步构建的迁移学习模型主要由两部分组成,如图3所示,其中一部分迁移了在ImageNet数据集上预先训练好的深度残差网络(Deep residual network,ResNet)的除全连接层外的所有层以及上述层的参数,另一部分为连接在上述层之后的三个神经元个数分别为1024、512、2的参数随机初始化的全连接层。
本发明所迁移的源网络为在ImageNet数据集上预先训练好的ResNet,该网络采用了独创性的短路连接网络结构。这种使用残差学习的方法克服了层次过深的神经网络产生的退化问题。该网络在多个领域已经取得了成功应用。同时,有研究表明该网络在迁移学习中的表现相对于其它网络效果更好。
在本发明的网络设计中,直接迁移了ResNet的卷积层结构以及其参数。同时,抛弃了原来ResNet网络的全连接层,转而添加了两个参数随机初始化的神经元个数分别为1024和512的新的全连接层。这主要是因为源域ImageNet中自然图像和目标域中的医学影像差异较大,使用源网络的全连接层设计及其参数进行初始化可能会产生负迁移的问题,或者容易收敛到局部最优;同时,由于目标域中数据较少,直接迁移全连接层将会使得需要训练的参数量过大,容易产生过拟合。最后,根据二分类目标,在顶层连接了一个由2个神经元构成的输出层。全连接层采用了Relu激活函数,它可以将所有负值变为零,而正值不改变。这种函数为网络添加了非线性成分,使网络具有稀疏激活性。其优点是表达能力强,不易产生梯度消失,模型训练获得的结果稳定。
为了进一步的避免过拟合增强模型的泛化能力,同时保持模型的学习能力,在全连接层中加入了Dropout和正则化项策略。Dropout是指在训练中对于某一次迭代,按照一定概率随机抛弃某一层中的部分神经元,相当于对于每次迭代训练的都是不同的神经网络。这个概率一般设定为0.5-0.2之间。其中该值设定为0.5时产生的变化数最多,但是容易使结果不稳定,收敛速度慢。在本实施例中,由于全连接层已经比较小,Dropout率设置为了0.3。
正则化是指在损失函数中添加一个跟参数大小有关的项,以尽可能使参数值保持在一个较小的量级上,从而限制参数的取值范围,避免出现过拟合现象。本发明采用的是L2正则化。L2正则化是在损失函数上添加参数的L2范数。这样,当优化目标函数设置为添加了正则化项后的损失函数时,可以限制参数的取值范围。在本实施例中,使用L2正则化时系数设置为0.001。
S4、使用上述合成的RGB图像作为输入,训练上述初步构建的迁移学习网络模型,获得可对肺结节进行良恶性分类的迁移学习网络模型。
在本实施例中,训练网络采用的优化器为Adam优化器,只调节其学习率而其它参数采用Keras框架中的默认参数。损失函数采用交叉熵损失函数。具体的训练过程采用:首先,冻结从源网络迁移过来的所有神经网络层的参数,使用一个较大的学习率(0.02)训练新搭建的全连接层2个Epoch,本实施例中每当所有训练集不重复的输入到网络中进行训练一次称为一个Epoch。此时可以认为网络底层中属于源网络的部分是一个在源域中训练好的特征提取器。该阶段的网络训练目的是应用目标域中数据训练一个由全连接层构成的分类器,从而根据提取到的特征构建分类模型。之后,开放网络中的所有层,使用一个较小的学习率(0.002)进行训练,微调所有参数共6个Epoch。这是常见的迁移学习Fine-tune参数调整策略。当微调效果不明显,模型分类准确率上升到一个平稳期以后,再次冻结所有源网络参数,以较大学习率训练新构建的全连接层,之后重复Fine-tune操作,如此进行3次循环。
S5、获得未标记的肺部CT图像,放入S4中建立的可对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,直接输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。
Claims (4)
1.一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,包括步骤如下:
S1、获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;
S2、对S1中获得的来自同一个CT影像的多尺度感兴趣区域进行预处理,合成RGB图像;
S3、初步构建迁移学习网络模型;
S4、采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用S2中生成的若干RGB图像训练S3中初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
S5、获得未标记的肺部CT图像,放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果;
步骤S1中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c;
步骤S2中,对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像;
步骤S3中,迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
2.根据权利要求1所述的一种基于多尺度迁移学习的肺结节良恶性分类方法,其特征在于,步骤S4中,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
3.一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,包括:
第一模块、用于获得n张肺部CT图像,对每一张肺部CT影像中的结节进行特征信息提取,提取方式为多尺度采样,获得多尺度感兴趣区域;对来自同一个CT影像的多尺度感兴趣区域进行预处理,合成若干RGB图像;
第二模块、用于初步构建迁移学习网络模型;并采用交替开放卷积网络层数并同时改变学习率大小的训练方法,使用生成的若干RGB图像训练初步构建的迁移学习网络模型,建立对肺结节进行良恶性分类的迁移学习网络模型;
第三模块、用于将获得的未标记的肺部CT图像放入S4中建立的对肺结节进行良恶性分类的迁移学习网络模型中,进行辅助判断,输出该肺部CT图像中存在疑似恶性或良性的肺结节判断结果;
第一模块中,对每一张肺部CT影像中的结节进行特征信息提取的具体方法为:围绕CT影像中结节中心裁剪获得边长大小分别为a像素,b像素,c像素的三个正方形感兴趣区域灰度图,获得多尺度感兴趣区域,其中,a像素区域用于获取结节的内部信息,b像素区域用于获取结节的边缘信息,c像素区域用于获取结节的周围环境信息,上述边长的关系为a<b<c;
第一模块中,合成若干RGB图像的方法为:对所获得感兴趣区域灰度图进行标准化、自适应直方图均衡化处理,并通过双三次插值将三幅不同尺寸的图像变为224×224像素大小的正方形灰度图,最后将来自同一个CT影像中同一个结节的三张插值变换后的灰度图作为一张RGB图像的三个通道的内容合成为一张RGB图像;
第二模块中,构建迁移学习网络模型所迁移的源网络为在ImageNet数据集上预先训练好的深度残差网络;初步构建的迁移学习网络模型包括两部分,其中一部分迁移了源网络的除全连接层外的所有层以及上述层的参数,另一部分为连接在源网络的除全连接层外的所有层之后的参数随机初始化的全连接层,并根据分类模型的二分类功能连接神经元数为2的输出层。
4.根据权利要求3所述的一种基于多尺度迁移学习的肺结节良恶性分类系统,其特征在于,交替开放卷积网络层数并同时改变学习率大小的训练方法,具体步骤如下:
首先冻结从源网络迁移过来的所有神经网络层的参数,使用学习率m训练新搭建的全连接层使其具有分类的功能,随后开放网络中所有层并使用学习率n微调所有参数,当模型准确率上升到一个平稳期后,再次冻结源网络参数,以学习率p训练全连接层,重复上述操作k次,获得对肺结节进行良恶性分类的迁移学习网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911001610.2A CN110852350B (zh) | 2019-10-21 | 2019-10-21 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911001610.2A CN110852350B (zh) | 2019-10-21 | 2019-10-21 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110852350A CN110852350A (zh) | 2020-02-28 |
CN110852350B true CN110852350B (zh) | 2022-09-09 |
Family
ID=69597808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911001610.2A Active CN110852350B (zh) | 2019-10-21 | 2019-10-21 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852350B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709425A (zh) * | 2020-05-26 | 2020-09-25 | 漳州卫生职业学院 | 一种基于特征迁移的肺部ct图像分类方法 |
CN112633336A (zh) * | 2020-12-10 | 2021-04-09 | 重庆大学 | 一种基于多尺度特征融合的肺结节识别分类方法 |
CN112926547B (zh) * | 2021-04-13 | 2022-03-29 | 北京航空航天大学 | 飞行器电信号分类和识别的小样本迁移学习方法 |
CN113159223A (zh) * | 2021-05-17 | 2021-07-23 | 湖北工业大学 | 一种基于自监督学习的颈动脉超声图像识别方法 |
CN113345576A (zh) * | 2021-06-04 | 2021-09-03 | 江南大学 | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 |
CN113506289B (zh) * | 2021-07-28 | 2024-03-29 | 中山仰视科技有限公司 | 一种利用双流网络进行肺结节假阳性分类的方法 |
CN113592027B (zh) * | 2021-08-16 | 2024-07-23 | 南京工程学院 | 一种基于迁移学习的医疗图像分类方法 |
TWI809488B (zh) * | 2021-08-31 | 2023-07-21 | 中國醫藥大學 | 肝細胞癌微血管浸潤評估方法及其評估系統 |
CN115393301B (zh) * | 2022-08-16 | 2024-03-12 | 中山大学附属第一医院 | 一种肝脏二维剪切波弹性图像的影像组学分析方法和装置 |
CN115345803A (zh) * | 2022-10-19 | 2022-11-15 | 合肥视微科技有限公司 | 基于残差网络的ct断层图中环形伪影校正方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7110098B2 (ja) * | 2015-12-18 | 2022-08-01 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 |
CN106971198A (zh) * | 2017-03-03 | 2017-07-21 | 北京市计算中心 | 一种基于深度学习的尘肺病等级判定方法及系统 |
CN107180426B (zh) * | 2017-06-06 | 2020-12-08 | 西北工业大学 | 基于可迁移的多模型集成的计算机辅助肺结节分类装置 |
CN108446730B (zh) * | 2018-03-16 | 2021-05-28 | 推想医疗科技股份有限公司 | 一种基于深度学习的ct肺结节检测装置 |
CN108734210B (zh) * | 2018-05-17 | 2021-10-15 | 浙江工业大学 | 一种基于跨模态多尺度特征融合的对象检测方法 |
-
2019
- 2019-10-21 CN CN201911001610.2A patent/CN110852350B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110852350A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852350B (zh) | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 | |
Rajan et al. | Brain tumor detection and segmentation by intensity adjustment | |
Saba | Recent advancement in cancer detection using machine learning: Systematic survey of decades, comparisons and challenges | |
WO2020088469A1 (zh) | 一种医学图像的识别方法、模型训练的方法及计算机设备 | |
Karim et al. | DeepKneeExplainer: explainable knee osteoarthritis diagnosis from radiographs and magnetic resonance imaging | |
Salama et al. | An improved approach for computer-aided diagnosis of breast cancer in digital mammography | |
CN110852396A (zh) | 一种宫颈图像的样本数据处理方法 | |
Srinivasa Reddy et al. | MRI brain tumor segmentation and prediction using modified region growing and adaptive SVM | |
Kumar et al. | Robust and automated lung nodule diagnosis from CT images based on fuzzy systems | |
Lobo et al. | Classification and segmentation techniques for detection of lung cancer from CT images | |
Reenadevi et al. | Breast cancer histopathological image classification using augmentation based on optimized deep ResNet-152 structure | |
Reddy | Effective CNN-MSO method for brain tumor detection and segmentation | |
Keerthana et al. | Brain tumour detection using machine learning algorithm | |
Krishna et al. | Classification of liver tumor using SFTA based Naïve Bayes classifier and support vector machine | |
Sachdeva et al. | The power of deep learning for intelligent tumor classification systems: A review | |
Abbas et al. | Lungs nodule cancer detection using statistical techniques | |
CN108765431B (zh) | 一种图像的分割方法及其在医学领域的应用 | |
CN114565786A (zh) | 基于通道注意力机制的断层扫描图像分类装置和方法 | |
Kate et al. | GAN, CNN and ELM Based Breast Cancer Detection | |
Rajesh et al. | Lung cancer diagnosis and treatment using AI and Mobile applications | |
Shaban et al. | An in-depth review of AI-based techniques for early diagnosis of breast cancer: Evaluation of CAD system design and classification methodologies | |
Vijayarajan et al. | A novel comparative study on breast cancer detection using different types of classification techniques | |
Pratiwi et al. | K-Nearest Neighbor for colon cancer identification | |
Chugh et al. | Morphological and otsu’s technique based mammography mass detection and deep neural network classifier based prediction | |
Suganya et al. | An Automated Lion-Butterfly Optimization (LBO) based Stacking Ensemble Learning Classification (SELC) Model for Lung Cancer Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |