CN113327666B - 一种胸片疾病多分类网络的多标签局部至全局学习方法 - Google Patents
一种胸片疾病多分类网络的多标签局部至全局学习方法 Download PDFInfo
- Publication number
- CN113327666B CN113327666B CN202110685083.2A CN202110685083A CN113327666B CN 113327666 B CN113327666 B CN 113327666B CN 202110685083 A CN202110685083 A CN 202110685083A CN 113327666 B CN113327666 B CN 113327666B
- Authority
- CN
- China
- Prior art keywords
- training
- label
- category
- network
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 72
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000002601 radiography Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 122
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 28
- 206010019909 Hernia Diseases 0.000 claims description 12
- 206010030113 Oedema Diseases 0.000 claims description 10
- 201000003144 pneumothorax Diseases 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 206010016654 Fibrosis Diseases 0.000 claims description 9
- 230000004761 fibrosis Effects 0.000 claims description 9
- 206010003598 Atelectasis Diseases 0.000 claims description 8
- 206010035664 Pneumonia Diseases 0.000 claims description 8
- 208000007123 Pulmonary Atelectasis Diseases 0.000 claims description 8
- 206010014561 Emphysema Diseases 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 206010025102 Lung infiltration Diseases 0.000 claims description 5
- 206010035600 Pleural fibrosis Diseases 0.000 claims description 5
- 206010025080 Lung consolidation Diseases 0.000 claims description 4
- 208000002151 Pleural effusion Diseases 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 15
- 238000005457 optimization Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 210000000038 chest Anatomy 0.000 description 66
- 230000003902 lesion Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 230000008595 infiltration Effects 0.000 description 5
- 238000001764 infiltration Methods 0.000 description 5
- 230000035772 mutation Effects 0.000 description 5
- 208000026216 Thoracic disease Diseases 0.000 description 4
- 208000019622 heart disease Diseases 0.000 description 4
- 238000011976 chest X-ray Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000004224 pleura Anatomy 0.000 description 2
- 238000003772 radiology diagnosis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010014568 Empyema Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提出了一种胸片疾病多分类网络的多标签局部至全局学习方法,包括以下步骤:首先,对胸片样本进行向量化建模,获取胸片样本的多标签局部至全局表征;然后为胸片疾病多分类网络选型;对胸片数据集预处理;训练胸片疾病多分类网络,实施多标签局部到全局学习算法;然后对深度神经网络训练参数进行优化;最终,针对训练后的深度神经网络,进行胸片疾病分类及性能分析。本发明提出的多标签局部到全局学习算法,用以指导深度神经网络训练过程;同时提出多标签条件熵,用以衡量网络训练过程中的稳定性;最后给出三种优化策略指导网络学习优化过程,其网络结构简单,鲁棒性高,能够得到更好的分类效果,具有较高的实用及推广价值。
Description
技术领域
本发明涉及一种深度神经网络学习方法,属于胸片疾病多分类网络训练领域,具体涉及一种胸片疾病多分类网络的多标签局部至全局学习方法。
背景技术
胸腔是人体内最容易发生疾病的地方,早期筛查和诊断是治疗的关键。当前胸部X线因成本低、操作方便等原因成为目前临床应用最广的影像学检查方法,然而,这些胸片需要放射科医师对其进行分析,就使得它是一项耗时,耗力且容易出错的任务。因此,发展自动准确的CXR图像分类算法是近年来医学图像界的高度需求。
目前,在自动学习方法中,基于深度学习的方法在公共数据集和大规模数据集上取得了最好的性能,目前也存在大量关于它的研究。比如,将CNN引入到分类任务中;引入分类和定位的框架,使用预训练模型,多标签丢失和不同池化策略进行训练,并采用CAM对病变进行定位;采用密集连接和批处理归一化来提高精度等等。但上述基于深度学习的方法在异常自动分类中仍然存在一些挑战,例如,在低对比度病变,存在多类型病变,病变大小及位置变化较大,图像不对齐或模糊等情况下无法取得满意的分类结果。另外,现存的大多数方法都专注于解决病变的变异和错位问题,针对该问题多分支方法应用的比较广泛,在基于多分支的方法中,第一个分支被用于聚焦于局部疾病特异性病变区域,第二个分支被用于分类。与上述针对病变变异和错位的方法相比,目前关于多标记的问题的研究还较少。
这些现有的技术都关注于特定深度神经网络(DNN)模型的设计。虽然分类的准确率在不断提高,但网络结构变得越来越复杂,需要的训练数据也更多,训练不可避免的变得更加困难。对于深度学习方法,如果从神经网络优化的角度考虑胸腔疾病分类问题,上述挑战明显增加了优化的复杂性。具体来说,首先是多标签问题,增加了输出标签空间的多样性,甚至使输出空间不堪负荷,导致增加了优化难度。如果通过标签幂集技术LP把多标签分类任务转换成多类别分类任务,新标签集的大小随着类别数量的增加呈指数级增长。其次,CXR图像上病变大小和位置差异大的问题增加了输入空间的多样性,这也给优化带来了重大挑战。最后,模糊导致病变边界不清晰,错位导致图像边界不规则。两者都使决策边界更难找到,并增加了优化的不可忽视的难度。
发明内容
本发明针对现有技术中训练网络复杂,训练困难等缺陷,提出一种胸片疾病多分类网络的多标签局部至全局学习方法,该方法作为一种全局数据集内的深度神经网络权重转移方法,权重从单个标签的样本类别转移至多个标签的样本类别,最终完成深度神经网络的学习过程,能够有效提高训练鲁棒性,提高分类精度。
本发明是采用以下的技术方案实现的:一种胸片疾病多分类网络的多标签局部至全局学习方法,包括以下步骤:
步骤A、对胸片样本及标签进行向量化建模,获取样本的多标签局部至全局表征;
步骤B、胸片疾病多分类网络选型;
步骤C、胸片数据集预处理,包括患者总数统计,胸片样本总数统计,胸片文件格式解析和胸片图像大小归一化操作;
步骤D、基于多标签局部到全局学习算法训练胸片疾病多分类网络;
多标签局部到全局算法定义为:对于K类多标签分类问题,多标签局部到全局学习算法表征一个网络训练过程,其在数据集上按照顺序逐步训练深度神经网络模型M,该过程生成一个收敛的网络模型序列其中MK是最终的训练结果;具体包括以下步骤:
d、根据步骤b动态的生成下一个训练集,在第k次迭代时,最新添加的类别就是作为下一个被训练的类别的第一选择:
步骤E、网络训练参数优化;通过步骤D训练得到的关键参数包括类别选择策略函数f和簇c的数量;
步骤F、基于训练好的网络对胸片疾病进行分类。
进一步的,所述步骤A中,标签类别包括“肺不张”,“心脏病学”,“胸腔积液”,“肺浸润”,“肿块”,“结节”,“肺炎”,“气胸”,“肺实变”,“水肿”,“肺气肿”,“纤维化”,“胸膜增厚”和“疝”,对胸片样本向量化建模后,对建模结果进行特征提取,用one-hot向量形式表征不同的类别,获取样本的多标签局部至全局表征,具体的:
其中,称为类别指示集,类别指示集是从空集合中生成的,在每次迭代中,从未经训练的类别集中选择一个类别并将其添加到中,随着类别指示集内类别标签数目的不断增加,得到的结果也由空集或只有一个类别不断扩大到Yi,以此来实现训练样本标签由局部至全局的表征。
进一步的,所述步骤B中,分类网络采用ResNet-152作为骨干网络,去掉网络输出端的全连通层和分类层,并增加K个神经元的全连通层和sigmoid激活函数的分类层。
进一步的,所述步骤E中,针对类别选择策略函数f提出高低相似性策略,即基于多标签条件熵对相似性进行量化,并通过相似性选出类别,具体包括:
(1)给定DNN模型M,数据集和类别序列令 为特征向量,来表示在中的相应类别是否被认为是稳定度量,假设i为任意正整数,若1≤i<m,则Ii=1,否则为0;那么M在考虑类别时对D的稳定性H用ML-CE表示为:
进一步的,所述步骤E中,关于簇c数量大于等于2。
进一步的,所述步骤F中,在进行分类时,具体采用以下原理:
初始化DNN模型M,在训练集t1上对M进行训练,得到模型M1,此时的模型M1识别出所有包含疾病类型的胸片;再利用类别选择策略函数f从未经训练的类别集中选择一个类别并将其添加到类别指示集中,作为训练集t2,训练得到模型M2,此时的模型M2识别出所有包含疾病类型和的胸片;依次迭代,直到所有疾病的类别都被加进类别指示集中,得到最终训练结果模型MK,即实现对胸片疾病的分类。
与现有技术相比,本发明的优点和积极效果在于:
本发明提出的ML-LGL方法,在DNN训练时,每个样本在训练过程中不断加入到不同标签样本的训练中,权重从单个标签的样本类别转移至多个标签的样本类别,网络权重可以在不同类别中间转移;并采用多个网络训练参数优化策略,对DNN模型进行训练,且在高低相似性策略中提出了多标签条件熵的概念,用以衡量采用ML-LGL算法训练DNN时的稳定性,鲁棒性高,能够得到更好的分类效果。
附图说明
图1为本发明实施例胸片疾病多分类网络的多标签局部至全局学习方法流程示意图;
图2为ChestX-ray14胸片数据集中的疾病分布示意图,(a)标签类别百分比;(b)疾病类别共生矩阵;(c)不同疾病样本数;
图3为本发明实施例ML-LGL方法的原理示意图;
图4为本发明实施例提出的ML-LGL方法与传统的LGL方法的比较示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点,下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例。
如图1所示,一种胸片疾病多分类网络的多标签局部至全局学习方法,包括以下步骤:
步骤A,对胸片样本进行向量化建模,获取样本的多标签局部至全局表征;
步骤B,胸片疾病多分类网络选型;
步骤C,胸片数据集预处理,包括患者总数统计,胸片样本总数统计,胸片文件格式解析和胸片图像大小归一化操作;
步骤D,基于多标签局部到全局学习算法训练胸片疾病多分类网络;
步骤E,网络训练参数优化;
步骤F,基于训练好的网络对胸片疾病进行分类;
步骤G,胸片疾病分类性能分析。
本实施例针对深度神经网络提出的多标签局部至全局学习方法(Multi-LabelLocal to Global Learning,ML-LGL),作为一种优化深度神经网络训练过程的方法,局部学习到全局学习可以显著提高深度神经网络训练的鲁棒性和分类性能。
具体的,下面对本发明方法进行详细的说明:
步骤A,对胸片样本及标签进行向量化建模,获取胸片样本的多标签局部至全局表征,具体包括:
首先将胸片样本及标签向量化,上述胸片样本从ChestX-ray14数据集中获得,每个图像都标记了14种胸廓疾病的一种或多种类型,包括“肺不张”,“心脏病学”,“胸腔积液”,“肺浸润”,“肿块”,“结节”,“肺炎”,“气胸”,“肺实变”,“水肿”,“肺气肿”,“纤维化”,“胸膜增厚”和“疝”,所有标签都是通过自然语言处理技术从相关放射学报告中得到的。
考虑k类多标签分类问题,设有N个训练样本分类空间对于每个多标签的样本(xi,Yi),K表示类别,xi是输入特征,Yi是对应的标签,这是的一个子集,即根据训练类别来对进行训练集的划分,从中得到训练集序列设是由原类别空间Y通过排列生成的类别序列,则训练集tk有:
其中,称为类别指示集,k表示迭代次数,类别指示集是从空集合中生成的,在每次迭代中,从未经训练的类别集中选择一个类别并将其添加到中,随着类别指示集内类别标签数目的不断增加,得到的结果也由空集或只有一个类别不断扩大到Yi,以此来实现训练样本标签由局部至全局的表征(局部到全局,即从较少的类别到较多的类别,这里的类别指示集一开始是空集,第一次迭代时,往里面加入一个类别进行训练,使网络可以识别出包含这种类别疾病的胸片,即局部;往后每次迭代都从没被训练过的类别集中选择一个加入类别指示集,随着类别越来越多,最后能实现对所有类型的疾病进行识别分类,即全局)。
本实施例用one-hot向量形式去表征不同的类别,例如,one-hot表示法用[1,0,0,0]表示“第一类病”,以此类推。那么,本发明中使用类似的向量去表征疾病类别。对胸片样本向量化建模后,对建模结果进行特征提取,对样本标签进行建模后,将胸片样本特征提取后得到的特征xi同建模后的标签一起生成训练集。上述胸片样本向量化建模过程中涉及到的参数解释如表1所示。
表1胸片样本向量化
步骤B,胸片疾病多分类网络选型:
本发明提出的多标签局部到全局学习(ML-LGL)算法,为了在多标签胸廓疾病分类的任务中,有效训练胸片疾病多分类网络,需要对深度神经网络(Deep Neural Network,DNN)中的主干网络进行选型,我们的主要目标是验证ML-LGL的性能,这促使我们选择简单而有效的DNN模型,而不是复杂的DNN模型。例如:可选取在特征提取方面优越的DNN模型:残差网络ResNet。
本实施例中选择在特征提取方面优越的DNN模型:残差网络ResNet网络层数152,即:ResNet-152。一般而言,随着网络层数的增加,会出现分类准确率下降的现象,为了解决这个问题,残差网络ResNet被Facebook研究人员提出,使得网络层数可以不断增加,能够更好地完成特征表达,同时不丢失分类精度。
因此,本实施例选择ResNet-152作为骨干网络,去掉网络输出端的全连通层和分类层,增加K个神经元的全连通层和sigmoid激活函数的分类层。
步骤C,胸片数据集预处理:
对胸片数据集预处理包括统计患者总数,胸片样本总数,胸片文件格式解析,胸片图像大小归一化等等。如图2所示,本实施例直接使用ChestX-ray14数据集训练胸片疾病多分类网络:该数据集中包含30840个独立患者的112120张正面胸片图像,所有的图像都进行相同的预处理过程:从DICOM文件中提取,调整大小到1024*1024的分辨率,通过默认窗口宽度和在DICOM文件头部设置存储的窗口位置将图像缩放到[0,255]。
每个图像都标记了14种疾病的一种或多种类型,包括:“肺不张(Atelectasis)”,“心脏病(Cardiology)”,“胸腔积液(Effusion)”,“肺浸润(Infiltration)”,“肿块(Mass)”,“结节(Nodule)”,“肺炎(Pneumonia)”,“气胸(Pneumothorax)”,“突变(Consolidation)”,“水肿(Edema)”,“肺气肿(Emphysema)”,“纤维化(Fibrosis)”,“胸膜增厚(Pleural thickening)”和“疝(Hernia)”。该数据集中疾病分类标签通过自然语言处理技术从放射科诊断报告中提取,但数据集本身并未公开放射科诊断报告。
如图2(a)所示,类别分布并不均匀,健康样本占比58%,单标签样本和多标签样本分别占27%和15%。从图2(b)中的类别共生矩阵显而易见,一个类别可以与几乎其他所有类别共存。
步骤D,训练胸片疾病多分类网络,实施多标签局部到全局学习(ML-LGL)算法:
对于深度神经网络(Deep Neural Network,DNN)模型M,多标签局部到全局学习(Multi-Label Local to Global Learning,ML-LGL)定义为:对于K类多标签分类问题,ML-LGL将表征一个网络训练过程,其在数据集上按照顺序逐步训练深度神经网络模型M,该过程生成一个收敛的网络模型序列其中MK是最终的训练结果。
根据表1中的定义,具体步骤如下:
c.为了探索步骤b中训练集顺序的更多可能性,本实施例中并不是在开始时获得预定义的类别序列而是在训练过程中动态地选择下一个训练类别,也就是说,从空集合中生成类别指示集Yind,然后在每次迭代中,从未经训练的类别集中选择一个类别并将该类别添加到类别指示集Yind中。
e.基于步骤b、c,动态的生成下一个训练集,在第k次迭代时,最新添加的类别就是作为下一个被训练的类别的第一选择:
基于上述训练步骤,本实施例提出算法1:ML-LGL多标签局部到全局学习算法,具体如下所示:
算法1 ML-LGL流程图如图3所示,左侧子图(a)获取训练序列,以及右侧子图(b)对序列进行迭代训练。与传统的LGL算法(Local to Global Learning)相比:
如图4(a)所示,在传统LGL中,每个样本在每次渐进迭代中都使用同一个类别进行训练,这意味着权重只从一个样本转移到另一个样本。与LGL算法对比,本实施例提出的ML-LGL算法,如图4(b)所示,每个样本在训练过程中不断加入到不同标签样本的训练中,如标签为“A”的样本随着网络训练的不断进行,将参与标签为“B”和“C”的样本训练中,网络权重可以在不同类别中间转移。因此,本实施例提出的ML-LGL算法比传统LGL而言,其优势在于,ML-LGL是一种全局数据集内的深度神经网络权重转移方法,权重从单个标签的样本类别转移至多个标签的样本类别,这种策略使得训练更加健壮,局部学习到全局学习可以显著提高训练的鲁棒性和性能,而ML-LGL方法使权重从单个标签的样本类别转移至多个标签的样本类别,这样可使该方法更好的应用在胸片疾病多标签分类中,另外,通过实验验证,ML-LGL方法优于其他训练方案,它可以使训练的时间缩短,并获得较高的分类准确率。
步骤E,网络训练参数优化:
ML-LGL的训练过程中中有两个关键参数,包括类别选择策略函数f和簇c的数量。f和c的不同选择会影响到ML-LGL的训练性能,因此,针对本实施例提出的ML-LGL算法,需要对深度神经网络模型的训练参数进行优化。
(一)类别选择策略函数f优化:
类别选择策略函数f是为了未经训练的类别集中选择一个类别并将其添加到类别指示集Yind中。公式定义了算法ML-LGL中如何从训练集的候选类别样本中通过f选择下一个类别的样本。这个过程可能依赖于当前的模型Mk和数据集也就是说,如果使用相似的策略,则需要根据当前的模型Mk来计算中所有剩余样本的相似度。综上,类别选择策略f在上面介绍的训练过程中是至关重要的。
传统的LGL方法中测试了三种选择策略,分别为1、从剩余的集群中随机选择一个集群;2、选择与训练过的簇最不相似的簇;3、选择与训练过的集群最相似的集群。实验表明每种选择策略的性能相差不大,我们认为这主要是因为使用的数据集包含的类和样本相对较少。然而,在本实施例使用的ChestX-ray14数据集中,在对胸片疾病分类的特点,大约有2的15次方个类别和112120个样本,使得分类更加困难。因此,如何确定一个合适的选择策略,可以在ML-LGL中获得更好的表现,也显得至关重要。
在本实施例中,采用三种不同的策略来对比其效果,分别为随机策略,高低相似性策略,高低频策略。其中,随机策略由于其随机性,主要是为了与另外两种策略提供对比,以判断另外两种策略是否起到效果;高低频策略是由其他学者提出,该策略与我们的常识一致,并已经证明是有效的策略;而高低相似性策略则是由本方案提出的多标签条件熵(ML-CE)对相似性进行量化,并通过相似性选出对应类别。
如上所述,我们选择采用上述三种不同的策略来对比其效果,具体如下:
<1>随机策略
在每次迭代中(即:算法1中第4步~第8步、图3(b)中每一次训练所得M),随机选择类别。
<2>高低相似性策略
针对类别选择策略函数f提出高低相似性策略,从未经训练的类别集中选取最相似的类别。当使用ML-LGL时,DNN模型从一个更稳定的状态训练,这导致一个收敛的更稳定的最终状态。这就要求我们通过某种手段来确定与不使用ML-LGL时相比,使用ML-LGL时DNN模型的稳定性是否有所不同。因此,我们提出了多标签条件熵(ML-CE)对相似性进行量化,并通过相似性选出类别,同时可通过它来度量网络的稳定性。
给定DNN模型M,数据集和类别序列令为特征向量,来表示在中的相应类别是否被认为是稳定度量,假设i为任意正整数,若1≤i<m,则Ii=1,否则为0。那么M在考虑类别时对D的稳定性 可以用ML-CE表示为:
其中,Di是的子集,样本的标签包含yi,即Di={(xi,Yi)|1≤i≤N,yi∈Yi}。它表示类别yi与现有训练过的类别之间的相似性。然后,中最小的就是我们要选择的类别。实际上,这种策略使得DNN模型的训练最为稳定和顺利。
此外,ML-CE也可以作为衡量网络稳定性的指标,理由如下,由于权值w在开始时是随机初始化的,它导致函数输出O是均匀分布的,的值几乎达到最大值。随着训练的进行,S变得越来越可预测,使得的值变得越来越小,并且,如果M充分训练,的值可能会趋于0。显然,ML-CE可以作为衡量网络稳定性的指标。
<3>高低频策略
我们用更多的样本以更高的优先级训练类别,样本数量越多的类别越容易被识别,因为它更常见。因此,本实施例中数量多的样本类别具有更高训练优先级。图2(c)显示了各类别样本的统计信息,本实施例中训练DNN模型的样本顺序为:“肺不张(Atelectasis)”,“心脏病(Cardiology)”,“积液(Effusion)”,“浸润(Infiltration)”,“肿块(Mass)”,“结节(Nodule)”,“肺炎(Pneumonia)”,“气胸(Pneumothorax)”,“突变(Consolidation)”,“水肿(Edema)”,“肺气肿(Emphysema)”,“纤维化(Fibrosis)”,“胸膜增厚(Pleural thickening)”和“疝(Hernia)”。
根据实验结果显示,上述三个选择策略提供一个清晰的改进总体性能基线,对于每个类的AUC性能,高低频策略实现了改善所有14种病症的承诺,AUC值只有在“肺炎”和“疝气”上用到随机和相似性策略时才会降低。这表明ML-LGL在多标签分类任务中非常有效。
此外,我们观察到高低频策略优于其他两种策略。随机策略和相似策略的综合性能分别提高了3%(0.732~0.763)和3.8%(0.732~0.771),高低频策略的综合性能提高了近5.5%(0.732~0.787)。
另外,我们发现,对于高低频策略而言,显著的改善来自低频类;这意味着,在我们提出的ML-LGL中,高频类别可以指导低频类别的学习。因此,高低频率策略在一定程度上揭示了胸部x射线14数据集上的疾病的本能结构。
(二)簇c的数量优化:
关于簇c数量的选择,本实施例中2≦c<5,首先,在每个迭代中逐渐添加一个类别是不现实的,因为它会消耗太多时间,特别是K较大的情况下,所以我们每次迭代添加一些类别而不是添加一个类别,我们把这些类别的添加称作“cluster(簇)”。
在本实施例中,c=2,3,4分别进行了检验分析,检验了不同c值的影响,在这里,若c=1,意味着每次迭代逐渐添加一个类别,如上所述,这是不现实的,会消耗过多时间。若取c为5或者5以上,则意味着每次迭代逐渐添加5或5以上个类别,若以胸片疾病为例,则是5或5以上种疾病,由图2所示,本实施例样本中健康样本占58%,单标签样本和多标签样本分别占27%和15%,我们由此可以推测人同时患多种病的概率是随着同时患病种类的增加而减少的,所以c若是取过大的数值意义不大,综上,我们在实验中分别选择c=2、3、4来探讨不同c值所带来的影响。
使用上述高低频策略时,随着簇的数量的增加,总体性能从0.732(基线)不断提高到0.797(c=4)。相似策略和随机策略也遵循这一模式,我们可以确认如果在每次迭代中添加一个类别,ML-LGL将获得最好的性能。在每类AUC上,“肺浸润”、“气胸”和“肺气肿”三个疾病类别在c=3时表现最好,而“水肿”在c=2时表现最好。此外,在除“肺实变”疾病外的大多数疾病中,每类AUC值随着簇c数目的增加呈次线性增长。
步骤F,基于训练好的网络对胸片疾病进行分类
基于上述步骤,可利用训练好的网络对胸片疾病进行分类,即:
首先基于步骤A,对胸片样本进行向量化建模,得到样本的多标签局部到全局表征,并用one-hot向量形式表征不同的类别,然后对建模结果进行特征提取,生成训练集;
其次基于步骤B对深度神经网络中的主干网络进行选型,选型标准为选择简单有效的DNN模型,用于验证ML-LGL的性能;
接着基于步骤C,对胸片数据集进行预处理,将其处理为统一的格式以便后续实验;
然后基于步骤D,训练胸片疾病多分类网络,得到一个收敛的网络模型序列,其中包含最终的训练结果;
最后基于步骤E,选择合适的类别选择策略函数f和簇c的数量,以优化训练参数;
然后初始化DNN模型M,首先在训练集t1上对M进行训练,得到模型M1,此时的模型M1可以识别出所有包含疾病类型的胸片;再利用类别选择策略函数f从未经训练的类别集中选择一个类别并将其添加到类别指示集中,作为训练集t2,训练得到模型M2,此时的模型M2可以识别出所有包含疾病类型和的胸片;按照这样一直迭代下去,直到所有疾病的类别都被加进类别指示集中,得到最终训练结果模型MK,即可实现对胸片疾病的分类。
这种逐步添加类别迭代训练的过程就是从局部到全局训练的过程,即,通过ML-LGL引导网络按照一定的顺序逐步从较少的类别学习到更多的类别的过程。
步骤G,胸片疾病分类性能分析。
本实施例训练好的深度网络模型对胸片疾病进行分类,并与以下三种方法进行了对比:
[1]Wang X,Peng Y,Lu L,Lu Z,Bagheri M,Summers RM.Chestx-ray8:Hospital-scale chest x-ray database and benchmarks on weakly-supervised classificationand localization of common thorax diseases.In:Proceedings of the IEEEconference on computer vision and pattern recognition.2017.p.2097–2106.
[2]Yao L,Prosky J,Poblenz E,Covington B,Lyman K.Weakly supervisedmedical diagnosis and localization from multiple resolutions.arXiv preprintarXiv:1803077032018.
[3]Wang H,Jia H,Lu L,Xia Y.Thorax-net:An attention regularized deepneural network for classification of thoracic diseases on chestradiography.IEEE journal of biomedical and health informatics 2019.
数据集采用ChestX-ray14(见本实施例“步骤C”),疾病分类性能采用AUC值(AreaUnder Curve),对比结果如表2所示。每一行代表一种疾病:“肺不张(Atelectasis)”,“心脏病(Cardiology)”,“积液(Effusion)”,“浸润(Infiltration)”,“肿块(Mass)”,“结节(Nodule)”,“肺炎(Pneumonia)”,“气胸(Pneumothorax)”,“突变(Consolidation)”,“水肿(Edema)”,“肺气肿(Emphysema)”,“纤维化(Fibrosis)”,“胸膜增厚(Pleuralthickening)”和“疝(Hernia)”,最后一行为“平均值(Average)”;每一列表示一种算法的AUC值,最后一列为本实施例的结果。其中每一行(即:每一种疾病)的最高AUC值都被框选。与[1]-[3]三种方法相比,本发明提出的ML-LGL方法在除了“心脏病(Cardiology)”,“突变(Consolidation)”,“疝(Hernia)”以外的11种疾病均取得了AUC最优值。即:本发明提出的ML-LGL算法在与同类算法相比,具有相当的优势,具体可体现为:
能获得更鲁棒性的训练,ML-LGL能够有效提高病理区域的定位精度,并在多标签分类任务中非常有效。ML-LGL优于其他学习方案,在ChestX-ray14数据集上获得了0.795的分类准确率。ML-LGL获得了最好的整体性能(AUC=0.799),与以前的最先进的技术相比具有优势。基线的训练时间约为6小时,而使用频率策略和c=3的ML-LGL,每个簇的训练时间分别为3小时、2.6小时和2.3小时,大大缩短了训练时间。
表2本实施例分类性能(AUC值)
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (4)
1.一种胸片疾病多分类网络的多标签局部至全局学习方法,其特征在于,包括以下步骤:
步骤A、对胸片样本及标签进行向量化建模,获取样本的多标签局部至全局表征;
标签类别包括“肺不张”,“心脏病学”,“胸腔积液”,“肺浸润”,“肿块”,“结节”,“肺炎”,“气胸”,“肺实变”,“水肿”,“肺气肿”,“纤维化”,“胸膜增厚”和“疝”,对胸片样本向量化建模后,对建模结果进行特征提取,用one-hot向量形式表征不同的类别,获取样本的多标签局部至全局表征,具体的:
其中,称为类别指示集,类别指示集是从空集合中生成的,在每次迭代中,从未经训练的类别集中选择一个类别并将其添加到中,随着类别指示集内类别标签数目的不断增加,得到的结果也由空集或只有一个类别不断扩大到Yi,以此来实现训练样本标签由局部至全局的表征;
步骤B、胸片疾病多分类网络选型;
步骤C、胸片数据集预处理,包括患者总数统计,胸片样本总数统计,胸片文件格式解析和胸片图像大小归一化操作;
步骤D、基于多标签局部到全局学习算法训练胸片疾病多分类网络;
多标签局部到全局算法定义为:对于K类多标签分类问题,多标签局部到全局学习算法表征一个网络训练过程,其在数据集上按照顺序逐步训练深度神经网络模型M,该过程生成一个收敛的网络模型序列其中MK是最终的训练结果;具体包括以下步骤:
d、根据步骤b动态的生成下一个训练集,在第k次迭代时,最新添加的类别就是作为下一个被训练的类别的第一选择:
步骤E、网络训练参数优化;通过步骤D训练得到的关键参数包括类别选择策略函数f和簇c的数量;
步骤F、基于训练好的网络对胸片疾病进行分类,在进行分类时,具体采用以下原理:
2.根据权利要求1所述的胸片疾病多分类网络的多标签局部至全局学习方法,其特征在于:所述步骤B中,分类网络采用ResNet-152作为骨干网络,去掉网络输出端的全连通层和分类层,并增加K个神经元的全连通层和sigmoid激活函数的分类层。
3.根据权利要求1所述的胸片疾病多分类网络的多标签局部至全局学习方法,其特征在于:所述步骤E中,针对类别选择策略函数f提出高低相似性策略,即基于多标签条件熵对相似性进行量化,并通过相似性选出类别,具体包括:
(1)给定DNN模型M,数据集和类别序列令 为特征向量,来表示在中的相应类别是否被认为是稳定度量,假设i为任意正整数,若1≤i<m,则Ii=1,否则为0;那么M在考虑类别时对D的稳定性H用多标签条件熵ML-CE表示为:
4.根据权利要求1所述的胸片疾病多分类网络的多标签局部至全局学习方法,其特征在于:所述步骤E中,关于簇c数量大于等于2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110685083.2A CN113327666B (zh) | 2021-06-21 | 2021-06-21 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110685083.2A CN113327666B (zh) | 2021-06-21 | 2021-06-21 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113327666A CN113327666A (zh) | 2021-08-31 |
CN113327666B true CN113327666B (zh) | 2022-08-12 |
Family
ID=77424021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110685083.2A Active CN113327666B (zh) | 2021-06-21 | 2021-06-21 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113327666B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114093445B (zh) * | 2021-11-18 | 2024-05-28 | 芽米科技(广州)有限公司 | 一种基于偏多标记学习的患者筛选标记方法 |
CN117496275B (zh) * | 2023-12-29 | 2024-04-02 | 深圳市软盟技术服务有限公司 | 基于类增学习的深度图像分类网络训练方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
CN110472676A (zh) * | 2019-08-05 | 2019-11-19 | 首都医科大学附属北京朝阳医院 | 基于深度神经网络的胃早癌组织学图像分类系统 |
CN111429407A (zh) * | 2020-03-09 | 2020-07-17 | 清华大学深圳国际研究生院 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
CN111951246A (zh) * | 2020-08-11 | 2020-11-17 | 湖南大学 | 一种基于深度学习的多方位x光胸片肺炎诊断方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6983800B2 (ja) * | 2016-03-15 | 2021-12-17 | イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ | ニューラルネットワークにおける強化学習によるユニーク/希少なケースの分類のための方法 |
EP3355270B1 (en) * | 2017-01-27 | 2020-08-26 | AGFA Healthcare | Multi-class image segmentation method |
CN109840531B (zh) * | 2017-11-24 | 2023-08-25 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
CN111553890B (zh) * | 2020-04-22 | 2021-01-08 | 上海全景云医学影像诊断有限公司 | 基于增量学习的x光正位胸片多任务检测方法 |
CN111709446B (zh) * | 2020-05-14 | 2022-07-26 | 天津大学 | 基于改进的密集连接网络的x线胸片分类装置 |
CN112348792A (zh) * | 2020-11-04 | 2021-02-09 | 广东工业大学 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
-
2021
- 2021-06-21 CN CN202110685083.2A patent/CN113327666B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
CN110472676A (zh) * | 2019-08-05 | 2019-11-19 | 首都医科大学附属北京朝阳医院 | 基于深度神经网络的胃早癌组织学图像分类系统 |
CN111429407A (zh) * | 2020-03-09 | 2020-07-17 | 清华大学深圳国际研究生院 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
CN111951246A (zh) * | 2020-08-11 | 2020-11-17 | 湖南大学 | 一种基于深度学习的多方位x光胸片肺炎诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113327666A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
US11423540B2 (en) | Segmentation of anatomical regions and lesions | |
CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
Kumar et al. | Breast cancer classification of image using convolutional neural network | |
CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
CN113327666B (zh) | 一种胸片疾病多分类网络的多标签局部至全局学习方法 | |
Rezaee et al. | A hybrid deep transfer learning based approach for COVID-19 classification in chest X-ray images | |
CN111932541B (zh) | 一种用于预测新冠肺炎预后的ct影像图像处理方法 | |
CN116823767B (zh) | 一种基于图像分析的肺移植活性等级判断方法 | |
CN115100467A (zh) | 一种基于核注意力网络的病理全切片图像分类方法 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
Pandey et al. | Evolutionary modular neural network approach for breast cancer diagnosis | |
Wang et al. | Evaluation of malignancy of lung nodules from CT image using recurrent neural network | |
CN114004782A (zh) | 参数化评估医学图像数据集的函数的计算机实现的方法 | |
Tsai et al. | Deep learning techniques for colorectal cancer tissue classification | |
CN115861716B (zh) | 基于孪生神经网络和影像组学的胶质瘤分类方法及装置 | |
Yadlapalli et al. | COVID-19 diagnosis using VGG-16 with CT scans | |
Elizabeth et al. | Computer‐aided diagnosis system for the detection of bronchiectasis in chest computed tomography images | |
CN108806796A (zh) | 一种医疗数据的特征选择方法及相关装置 | |
CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 | |
He | Lung CT imaging sign classification through deep learning on small data | |
Dhanapala et al. | Transfer learning techniques with SVM for covid-19 disease prediction based on chest X-ray images | |
Athanasiadis et al. | Segmentation of complementary DNA microarray images by wavelet-based Markov random field model | |
Erwandi et al. | Improved Residual Neural Network for Breast Cancer Classification | |
Sebastian et al. | Detecting Lung Nodules Based on Deep Learning with Automatic Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |