CN113284136A - 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 - Google Patents
一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 Download PDFInfo
- Publication number
- CN113284136A CN113284136A CN202110690947.XA CN202110690947A CN113284136A CN 113284136 A CN113284136 A CN 113284136A CN 202110690947 A CN202110690947 A CN 202110690947A CN 113284136 A CN113284136 A CN 113284136A
- Authority
- CN
- China
- Prior art keywords
- training
- loss
- medical image
- network
- xgboost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种双损失函数训练的残差网络和XGBoost的医学图像分类方法,首先,收集医学图像数据集并将其划分为训练集和测试集;其次,对医学图像数据集进行预处理,将图像大小调整为224*224并且进行归一化处理;然后,搭建Resnet50网络作为模型的特征提取层,使用ELU激活函数替换Resnet50网络中残差块中的ReLU激活函数,并采用三元组损失以及中心损失共同训练Resnet50网络;之后,将Resnet50网络的最后一个全连接层移除,使用XGBoost作为模型的分类层;最后,使用训练集训练模型,将测试集输入训练好的模型得到分类结果。本发明使得同类样本特征更加靠近,不同类样本特征更加远离,有助于提高模型的分类精度;且分类效率高,在提高模型分类精度的同时,可以防止过拟合。
Description
技术领域
本发明属于医学图像处理领域,涉及一种双损失函数训练的残差网络和XGBoost的医学图像分类方法。
背景技术
医学影像技术的不断发展对疾病的诊治做出了巨大的贡献,使用影像学技术诊断疾病不仅效率高,而且对于传染性强的疾病而言,可以降低医患之间交叉感染的风险。医生通过分析患者的医学影像来诊断患者所患有的疾病种类。然而,能够准确分析医学影像的经验丰富的放射科医生在每个医院都属于稀缺人才,这使得人为检测的效率很低,所以,需要发明一种能够自动分析医学影像并进行准确判断的方法。
目前自动诊断疾病的主流方法是使用AI技术,利用深度学习技术自动对医学图像进行分类。卷积神经网络是深度学习的代表算法之一,使用卷积神经网络对医学图像进行分类是当前的热门研究方向,选择一个合适的神经网络,使用医学图像作为数据训练神经网络,便可以使神经网络自动准确的分类医学影像从而达到准确诊断的目的。而使用神经网络对图像进行分类的关键在于神经网络提取到的图像的特征,本发明在选定的网络中使用三元组损失和中心损失共同训练网络,对网络中提取到的图像特征进行充分处理,最后使用XGBoost方法进行分类,进一步提高最终的分类精度。
发明内容
发明目的:本发明的目的是提供一种双损失函数训练的残差网络和XGBoost的图像分类方法,提高分类精度,提升模型的分类效果。
技术方案:本发明提供一种双损失函数训练的残差网络和XGBoost的图像分类方法,具体包括以下步骤:
(1)收集医学图像数据集,并将其划分为训练集和测试集;
(2)对医学图像数据集进行预处理,将图像大小调整为224*224并且进行归一化处理;
(3)搭建Resnet50网络作为模型特征提取层,使用ELU激活函数替换Resnet50网络中残差块中的ReLU激活函数,并采用三元组损失以及中心损失共同训练Resnet50网络;
(4)将Resnet50网络网络的最后一个全连接层移除,使用XGBoost作为模型的分类层;
(5)使用训练集训练模型,将测试集输入训练好的模型得到分类结果。
进一步地,步骤(1)所述的训练集、验证集和测试集的比为8:2。
进一步地,步骤(3)所述的采用三元组损失训练Resnet50网络过程如下:
三元组损失由一个三元组<a,p,n>构成,一次输入三张成对图像,其中,a为训练集中选取的一个训练样本,p为与训练样本同一类别的样本,称为正样本,n为与训练样本不同类别的样本,称为负样本,三元组损失Ltri的计算公式为:
Ltri=max(d(a,p)-d(a,n)+margin,0)
其中,d(a,p)表示的是a和p之间的欧氏距离度量,d(a,n)表示的是a和n之间的欧氏距离度量,margin是a与p之间的距离和a与n之间的距离之间的间距,人为可控,偏小会难以区分相似的图像,偏大会导致网络不收敛,需要设置合理的margin值。
进一步地,步骤(3)所述的中心损失训练Resnet50网络过程如下:
其中,Lc表示中心损失,r表示样本的个数,u=1表示第一个样本,zu表示第u个样本提取到的特征,cyu表示第u个样本对应类别的所有样本的平均特征;Resnet50网络的总损失L的计算公式如下:
L=Ltri+βLc
其中,β是中心损失的平衡权重。
进一步地,所述步骤(4)实现过程如下:
设训练集为D={(gi,hi)},(D|=s,gi∈Rm,hi∈R),其中gi表示第i个样本,hi表示第i个样本的类别标签,s是训练集中样本个数,m是训练集中特征个数,Rm是由m个实数构成的实数集合,R表示实数集合,XGBoost是一个树集成模型,一共有K棵树,最小化目标函数Obj,Obj的定义如下:
有益效果:与现有技术相比,本发明的有益效果:使用ELU激活函数替换Resnet50网络中残差块中的ReLU激活函数,可以使特征提取层学习更快并且对噪声有鲁棒性;使用三元组损失来训练特征提取层,可以增强欧式空间的类内紧凑性和类间可分性,也就是可以使得同类样本特征更加靠近,不同类样本特征更加远离,有助于提高模型的分类精度;添加中心损失配合三元组损失训练特征提取层,不仅可以进一步对提取到的特征进行处理,还可以弥补三元组损失的不足从而提高模型性能;使用XGBoost作为模型的分类层来进行最终的分类,效率高,在提高模型分类精度的同时,可以防止过拟合。
附图说明
图1是本发明的流程图;
图2是修改后的残差模块图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供一种双损失函数训练的残差网络和XGBoost的图像分类方法,如图1所示,具体包括以下步骤:
步骤1:收集医学图像数据集,并将数据集划分为训练集和测试集。
收集医学图像数据集,并根据神经网络需要大量数据进行训练的特性以及结合以往的实验经验将整个医学数据集的80%划分为训练集和20%的测试集。
步骤2:为了统一标准对医学图像数据集进行预处理,将医学图像数据集中的图像大小调整为224*224并且进行归一化处理。
步骤3:搭建Resnet50网络作为模型特征提取层,使用ELU激活函数替换Resnet50网络中残差块中的ReLU激活函数,使用ELU激活函数可以使特征提取层学习更快并且对噪声有鲁棒性,修改后的残差块如图2所示,输入残差块中的特征矩阵的深度为256维度,使用64个1*1的卷积核对其进行卷积,特征矩阵的深度降维到64维度,之后通过64个3*3的卷积核进行卷积,然后使用256个1*1的卷积核进行卷积,使得特征矩阵的深度升维到256维度,最后将输入的特征矩阵与经过3次卷积处理之后的特征矩阵相加,整个残差块中使用了3次ELU激活,分别是在第一次和第二次卷积以及最后相加操作之后。
采用三元组损失以及中心损失共同训练Resnet50网络。使用三元组损失可以增强欧式空间的类内紧凑性和类间可分性,它由一个三元组<a,p,n>构成,所以,一次输入三张成对图像,(anchor)a指的是我们训练集中选取的一个CT训练样本,(positive)p是与训练样本同一类别的样本称为正样本,(negative)n是与训练样本不同类别的样本称为负样本,因此三元组损失Ltri的计算公式为:
Ltri=max(d(a,p)-d(a,n)+margin,0)
当d(a,p)-d(a,n)+margin大于0的时候Ltri的值是d(a,p)-d(a,n)+margin而当d(a,p)-d(a,n)+margin小于0的时候Ltri的值为0。其中,d(a,p)表示的是a和p之间的欧氏距离度量,d(a,n)表示的是a和n之间的欧氏距离度量,margin是a与p之间的距离和a与n之间的距离之间的间距,人为可控,偏小会难以区分相似的图像,偏大会导致网络不收敛,需要设置合理的margin值。通过添加三元组损失训练网络可以使得在欧氏距离中,新冠图像的特征和正常图像的特征分别聚集在一起并且两个特征之间互相远离,提高了辨识度,从而提升了分类精度。添加中心损失来共同训练网络,进一步处理特征,弥补三元组损失的不足,因为三元组损失虽然考虑到了类之间的离散型,但是忽略了类内的紧凑性,会导致同一类的特征之间的距离过大,而中心损失会对特征之间的距离进行约束,会使得同类别的平均特征的距离足够的小,要求同类的特征接近它们的中心点,使得同一类的特征之间的距离缩小,这样就可以解决三元组损失的问题,中心损失的计算公式Lc如下所示:
L=Ltri+βLc
其中,β是中心损失的平衡权重。
步骤4:将Resnet50网络的最后一个全连接层移除,使用XGBoost作为模型的分类层。
设训练集为D={(gi,hi)},(D|=s,gi∈Rm,hi∈R),其中gi表示第i个样本,hi表示第i个样本的类别标签,s是训练集中样本个数,m是训练集中特征个数,Rm是由m个实数构成的实数集合,R表示实数集合,XGBoost是一个树集成模型,一共有K棵树,最小化目标函数Obj,Obj的定义如下:
步骤5:使用训练集训练模型,将测试集输入训练好的模型得到分类结果。
Claims (5)
1.一种双损失函数训练的残差网络和XGBoost的医学图像分类方法,其特征在于,包括以下步骤:
(1)收集医学图像数据集,并其划分为训练集和测试集;
(2)对医学图像数据集进行预处理,将图像大小调整为224*224并且进行归一化处理;
(3)搭建Resnet50网络作为模型特征提取层,使用ELU激活函数替换Resnet50网络中残差块中的ReLU激活函数,并采用三元组损失以及中心损失共同训练Resnet50网络;
(4)将Resnet50网络的最后一个全连接层移除,使用XGBoost作为模型的分类层;
(5)使用训练集训练模型,将测试集输入训练好的模型得到分类结果。
2.根据权利要求1所述的一种双损失函数训练的残差网络和XGBoost的医学图像分类方法,其特征在于,步骤(1)所述的训练集和测试集的比为8:2。
3.根据权利要求1所述的一种双损失函数训练的残差网络和XGBoost的医学图像分类方法,其特征在于,步骤(3)所述的采用三元组损失训练Resnet50网络过程如下:
三元组损失由一个三元组<a,p,n>构成,一次输入三张成对图像,其中,a为训练集中选取的一个训练样本,p为与训练样本同一类别的样本称为正样本,n为与训练样本不同类别的样本称为负样本,三元组损失Ltri的计算公式为为:
Ltri=max(d(a,p)-d(a,n)+margin,0)
其中,d(a,p)表示的是a和p之间的欧氏距离度量,d(a,n)表示的是a和n之间的欧氏距离度量,margin是a与p之间的距离和a与n之间的距离之间的间距,人为可控,偏小会难以区分相似的图像,偏大会导致网络不收敛,需要设置合理的margin值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110690947.XA CN113284136A (zh) | 2021-06-22 | 2021-06-22 | 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110690947.XA CN113284136A (zh) | 2021-06-22 | 2021-06-22 | 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113284136A true CN113284136A (zh) | 2021-08-20 |
Family
ID=77285074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110690947.XA Pending CN113284136A (zh) | 2021-06-22 | 2021-06-22 | 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284136A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688903A (zh) * | 2021-08-24 | 2021-11-23 | 贵州电网有限责任公司 | 一种输电线路易覆冰微地形分类方法 |
CN115049660A (zh) * | 2022-08-15 | 2022-09-13 | 安徽鲲隆康鑫医疗科技有限公司 | 心脏解剖学结构特征点的定位方法、定位装置 |
CN116051949A (zh) * | 2023-03-28 | 2023-05-02 | 苏芯物联技术(南京)有限公司 | 一种融合图像检测的焊接异常实时诊断方法 |
TWI814307B (zh) * | 2022-03-25 | 2023-09-01 | 英屬開曼群島商百蒂醫股份有限公司 | 醫學影像分析方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169527A (zh) * | 2017-06-06 | 2017-09-15 | 西北工业大学 | 基于协同深度学习的医学图像分类方法 |
CN108399616A (zh) * | 2018-02-11 | 2018-08-14 | 西安理工大学 | 基于深度残差网络的骨科病病变分类分级方法 |
CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
CN112508063A (zh) * | 2020-11-23 | 2021-03-16 | 刘勇志 | 基于增量学习的医学图像分类方法 |
CN112560968A (zh) * | 2020-12-21 | 2021-03-26 | 齐鲁工业大学 | 一种基于卷积和残差网络的her2图像分类方法及系统 |
CN112580590A (zh) * | 2020-12-29 | 2021-03-30 | 杭州电子科技大学 | 一种基于多语义特征融合网络的指静脉识别方法 |
-
2021
- 2021-06-22 CN CN202110690947.XA patent/CN113284136A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169527A (zh) * | 2017-06-06 | 2017-09-15 | 西北工业大学 | 基于协同深度学习的医学图像分类方法 |
CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
CN108399616A (zh) * | 2018-02-11 | 2018-08-14 | 西安理工大学 | 基于深度残差网络的骨科病病变分类分级方法 |
CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
CN112508063A (zh) * | 2020-11-23 | 2021-03-16 | 刘勇志 | 基于增量学习的医学图像分类方法 |
CN112560968A (zh) * | 2020-12-21 | 2021-03-26 | 齐鲁工业大学 | 一种基于卷积和残差网络的her2图像分类方法及系统 |
CN112580590A (zh) * | 2020-12-29 | 2021-03-30 | 杭州电子科技大学 | 一种基于多语义特征融合网络的指静脉识别方法 |
Non-Patent Citations (3)
Title |
---|
关浩坚等: "卷积神经网络在装备磨损颗粒识别中的研究综述", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/62.1095.O4.20210603.1326.004.HTML》, pages 18 * |
祝日星: "无重叠视域的跨摄像机车辆再识别技术研究", 《中国博士学位论文全文数据库 工程科技II辑》, no. 6, pages 22 - 23 * |
董佳昕: "基于深度学习的全基因组DNA甲基化预测研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, no. 1, pages 13 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688903A (zh) * | 2021-08-24 | 2021-11-23 | 贵州电网有限责任公司 | 一种输电线路易覆冰微地形分类方法 |
CN113688903B (zh) * | 2021-08-24 | 2024-03-22 | 贵州电网有限责任公司 | 一种输电线路易覆冰微地形分类方法 |
TWI814307B (zh) * | 2022-03-25 | 2023-09-01 | 英屬開曼群島商百蒂醫股份有限公司 | 醫學影像分析方法 |
CN115049660A (zh) * | 2022-08-15 | 2022-09-13 | 安徽鲲隆康鑫医疗科技有限公司 | 心脏解剖学结构特征点的定位方法、定位装置 |
CN115049660B (zh) * | 2022-08-15 | 2022-11-29 | 安徽鲲隆康鑫医疗科技有限公司 | 心脏解剖学结构特征点的定位方法、定位装置 |
CN116051949A (zh) * | 2023-03-28 | 2023-05-02 | 苏芯物联技术(南京)有限公司 | 一种融合图像检测的焊接异常实时诊断方法 |
CN116051949B (zh) * | 2023-03-28 | 2023-10-03 | 苏芯物联技术(南京)有限公司 | 一种融合图像检测的焊接异常实时诊断方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284136A (zh) | 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 | |
CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
CN111951246B (zh) | 一种基于深度学习的多方位x光胸片肺炎诊断方法 | |
CN108960289B (zh) | 医用图像分类装置及方法 | |
CN111938569A (zh) | 基于深度学习的眼底多病种分类的检测方法 | |
CN112950614B (zh) | 一种基于多尺度空洞卷积的乳腺癌病理图片分类方法 | |
CN115410046A (zh) | 基于深度学习的皮肤病舌象分类模型、建立方法及应用 | |
CN111104961A (zh) | 基于改进的MobileNet网络对乳腺癌进行分类的方法 | |
CN108877923A (zh) | 一种基于深度学习的舌苔生成中药处方的方法 | |
CN112712122A (zh) | 基于神经网络模型的角膜溃疡的分类检测方法及系统 | |
CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
CN113269230A (zh) | 一种基于时序高维特征提取的多肺炎ct分类方法及装置 | |
Elayaraja et al. | An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach | |
CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
CN111584071A (zh) | 一种膝关节周围原发恶性骨肿瘤人工智能辅助诊断模型 | |
CN117557840B (zh) | 一种基于小样本学习的眼底病变分级方法 | |
CN110782441A (zh) | 一种基于深度学习的dr影像肺结核智能分割与检测方法 | |
CN114549452A (zh) | 基于半监督深度学习的新冠肺炎ct图像分析方法 | |
CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
CN114565786A (zh) | 基于通道注意力机制的断层扫描图像分类装置和方法 | |
Mao et al. | Efficient and accurate diagnosis of otomycosis using an ensemble deep-learning model | |
CN116091446A (zh) | 食管内窥镜图像的异常检测方法、系统、介质及设备 | |
CN115937590A (zh) | 一种并联融合CNN和Transformer的皮肤病图像分类方法 | |
CN112668668B (zh) | 一种术后医学影像评估方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |