CN108492873B - 一种用于辅助诊断阿兹海默症的知识迁移学习方法 - Google Patents

一种用于辅助诊断阿兹海默症的知识迁移学习方法 Download PDF

Info

Publication number
CN108492873B
CN108492873B CN201810204007.3A CN201810204007A CN108492873B CN 108492873 B CN108492873 B CN 108492873B CN 201810204007 A CN201810204007 A CN 201810204007A CN 108492873 B CN108492873 B CN 108492873B
Authority
CN
China
Prior art keywords
images
image
natural
data set
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810204007.3A
Other languages
English (en)
Other versions
CN108492873A (zh
Inventor
吴强
顾久驭
刘琚
孔祥茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201810204007.3A priority Critical patent/CN108492873B/zh
Publication of CN108492873A publication Critical patent/CN108492873A/zh
Application granted granted Critical
Publication of CN108492873B publication Critical patent/CN108492873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Abstract

本发明公开了一种基于辅助域迁移学习诊断阿兹海默症的方法。通过将医学影像与自然图像聚类，得到自然图像数据集的一个子集，这个子集中的自然图像的“距离”与医学影像更近，用它们训练网络可以使CNN间接学习到医学影像的特征，再通过迁移学习的方式训练医学影像数据，提高了CNN自动识别阿兹海默症的精度。本发明使用OASIS数据集作为AD数据集，ImageNet数据集作为自然图像数据集完成了实验，并做了5次交叉验证。与直接训练CNN和使用SVM分类器等方法比较后，本发明提出的方法的准确率有明显提升，表明本发明提出的方法是有效的，并可以可解决传统深度学习中训练速度慢，大量消耗计算资源，容易过拟合等问题。

Description

一种用于辅助诊断阿兹海默症的知识迁移学习方法
技术领域
本发明设计了一种用于辅助诊断阿兹海默症的知识迁移学习方法，属于医学影像处理领域。
背景技术
阿兹海默症(Alzheimer's disease，AD)是一种常见的老年病，会导致记忆、思维和行为方面的问题，具体表现在记忆和其他认知能力丧失，对患者的生活产生很大影响。已知导致阿兹海默症的最大因素是衰老，随着时间的推移，患者的病情会逐渐加重并最终导致死亡。阿兹海默症的尽早确诊对病人护理有重要作用，可以提高治愈机率。阿兹海默症患者的脑部磁共振影像是一种有效的临床诊断手段。
近年来，卷积神经网络(Convolutive Neural Netowrk,CNN)在计算机视觉领域获得了巨大成功，在医学影像分析领域也有广泛的应用。CNN的强大之处在于更深的网络结构能够提取大量抽象特征，但是从头训练一个CNN十分消耗时间和计算资源。首先，训练CNN需要大量有标签的数据，这些标签很难获得，尤其在医学影像处理领域，这些标签需要耗费专业医师大量时间进行标注，并且相关病理的数量稀少。训练一个深度卷积神经网络经常会遇到过拟合和损失函数不收敛等问题，解决方法是反复调整网络结构和学习参数，这需要大量的计算资源和内存/显存资源，而且极其耗费时间。
为加快CNN训练速度，目前在医学影像分类问题中通常采用的做法是用自然图像数据集上训练得到的参数直接初始化CNN，但医学影像和自然图像之间差异巨大，直接在两者直接做知识迁移导致CNN分类准确率不能得到保障，且后期微调CNN工作繁重。
发明内容
本发明针对上述问题提出一种新的解决方案：先将自然图像数据集与医学影像数据集聚类，得到一个自然图像数据集的子集，这个子集中的自然图像与医学影像“距离”更近，因此用子集训练CNN更有针对性，CNN能间接学习到医学影像的特征，然后再用医学影像微调CNN。这样做的分类效果比直接做知识迁移的分类效果好。
本发明提出了一种用于辅助诊断阿兹海默症的知识迁移学习方法，在自然图像与医学影像之间聚类形成一个相关度高的自然图像子集，利用该子集做医学影像的迁移学习。该方法首先利用AD数据集与自然图像数据集做聚类，选出与AD影像“距离”相近的自然图像，用这部分自然图像微调VGG16网络，把网络中的卷积-池化层对的参数保留下来，用这些参数初始化CNN分类AD影像，并经过交叉验证得到实验结果。
本发明的技术方案如下：
一种用于辅助诊断阿兹海默症AD的知识迁移学习方法，包括以下步骤：
(一)数据预处理：将AD数据集中的AD图像进行下采样，保持图像高度和宽度不变，使其通道数降为3，以适应VGG16卷积神经网络输入数据的格式；
(二)聚类：
(1)取自然图像数据集的前N类图像，将此N类自然图像的高度和宽度调整成与AD图像相同；
(2)降维：为了有效提取特征得到最好的聚类效果，采用自编码器进行特征降维，假设AD图像的宽度为w、高度为h、通道数为c则自编码器的输入输出大小均为w*h*c，中间层大小为2*2*1，将AD图像和自然图像送入自编码器，利用自编码器提取它们的4维特征向量；
(3)聚类：得到AD图像和自然图像的特征向量后，用KMeans算法将AD图像和自然图像的特征向量聚为2类，统计每个AD图像得到的类别标签，将大多数AD图像得到的类别标签作为所有AD图像的类别标签，将自然图像中得到的类别标签与AD图像的类别标签一致的自然图像选取出来，构成原自然图像数据集的一个子集；
(三)自然图像的迁移学习:更改VGG16网络的全连接层和输出层，将输出层神经元个数改为N，变成一个N类的分类网络，利用上一步得到的类别标签与AD图像的类别标签一致的自然图像数据集的子集训练该分类网络，并将学习到的卷积—池化层对的参数保留下来；
(四)AD图像的迁移学习：修改VGG16网络的全连接层和输出层，将输出层神经元个数改为2，同时增加Dropout层防止过拟合，重构一个2分类的卷积神经网络，用步骤(三)中保留的参数初始化该2分类卷积神经网络中的卷积—池化层对，训练该2分类网络，用训练好的该网络对AD图像进行2分类，通过分类结果判断病人是否患有AD。
为了更好地评估训练出来模型的准确率，采用交叉验证。与直接训练CNN和使用SVM分类器对降维后的AD数据分类两种方法相比，本发明提出的方法的准确率有明显提升，且模型收敛更快。利用本发明方法得到的验证集准确率达到91.84±3.26％。未采用知识迁移方法而直接训练CNN的方法得到的验证集准确率为87.36±1.63％，将数据降维后用SVM分类器分类的平均准确率为54.02±3.41％。
附图说明
图1是本发明基于的辅助域迁移学习的医学影像分类系统结构图。
具体实施方式
我们使用OASIS数据集作为AD数据集，ImageNet数据集作为自然图像数据集完成了实验，并做了5次交叉验证。下面结合实验和图1对本发明做进一步说明。
(一)数据预处理：假设AD数据集中样本大小均为w*h*c，其中w、h、c分别代指医学影像的宽度、高度、通道数，首先将AD数据集中w*h*c大小的三维脑部磁共振影像调整大小成w*h*3，把医学影像的通道数下采样到3是为了使数据格式符合VGG16网络输入数据格式的要求，然后根据每个病人对应的说明文件中CDR值判断病人是否患有阿尔茨海默病，CDR值为0.5和1的判为阳性，数据缺失(为空)和为0的全部判为阴性，缺失数据的是年轻患者的样本，不可能患有阿尔茨海默病，故判别为阴性，这样就是一个二分类问题。通过预处理磁共振影像将分散的医学影像和影像对应的标签信息处理成CSV格式的统计文件，为下一步聚类和迁移学习做准备。
(二)聚类:将预处理过的AD数据集和自然图像数据集的前N类数据做聚类，在实验中本发明取N为100。将自然图像数据集前N类的数据调整宽度和高度，预处理成和医学影像一样的w*h*3大小。
(1)降维：为了有效提取特征得到最好的聚类效果，采用自编码器进行特征降维，自编码器的输入输出大小均为w*h*c，中间层大小为2*2*1，将AD数据和自然图像送入自编码器，利用自编码器提取它们的4维特征向量。
(2)聚类：得到AD数据和自然图像的特征向量后，用KMeans算法将AD数据和自然图像的特征向量聚为2类。统计AD数据中每个样本得到的标签，若大部分样本得到的标签为0，则将0作为AD数据的标签，反之亦然。将自然图像数据集中标签与AD数据一致的样本选取出来，得到原自然图像数据集的一个子集。
(三)自然图像的迁移学习：更改VGG16网络的全连接层和输出层，将输出层神经元改为N，变成一个N类的分类网络，本发明中取N为100，利用上一步得到的自然图像数据集的子集训练该网络，并将网络学习到的卷积—池化层对的参数保留下来，用于训练AD影像时初始化2分类CNN的卷积—池化层对的参数。
(四)医学影像的迁移学习：修改VGG16网络结构，更改全连接层和输出层，将输出层神经元个数改为2，同时增加Dropout层防止过拟合，重构一个2分类的CNN。步骤(三)中的CNN已经通过自然图像数据集的子集间接学习到了医学影像的大量特征，用步骤(三)中保留的参数初始化2分类CNN中的卷积—池化层对，训练2分类CNN，并将AD数据集打乱后分成Z份，每次取(Z-1)份做训练，1份做验证，做Z次交叉验证，得到最终实验结果，本发明中取Z为5进行实验。

Claims (1)

1.一种用于辅助诊断阿兹海默症AD的知识迁移学习方法，包括以下步骤：
(一)数据预处理：将AD数据集中的AD图像进行下采样，保持图像高度和宽度不变，使其通道数降为3，以适应VGG16卷积神经网络输入数据的格式；
(二)聚类：
(1)取自然图像数据集的前N类图像，将此N类自然图像的高度和宽度调整成与AD图像相同；
(2)降维：为了有效提取特征得到最好的聚类效果，采用自编码器进行特征降维，假设AD图像的宽度为w、高度为h、通道数为c则自编码器的输入输出大小均为w*h*c，中间层大小为2*2*1，将AD图像和自然图像送入自编码器，利用自编码器提取它们的4维特征向量；
(3)聚类：得到AD图像和自然图像的特征向量后，用KMeans算法将AD图像和自然图像的特征向量聚为2类，统计每个AD图像得到的类别标签，将大多数AD图像得到的类别标签作为所有AD图像的类别标签，将自然图像中得到的类别标签与AD图像的类别标签一致的自然图像选取出来，构成原自然图像数据集的一个子集；
(三)自然图像的迁移学习:更改VGG16网络的全连接层和输出层，将输出层神经元个数改为N，变成一个N类的分类网络，利用上一步得到的类别标签与AD图像的类别标签一致的自然图像数据集的子集训练该分类网络，并将学习到的卷积—池化层对的参数保留下来；
(四)AD图像的迁移学习：修改VGG16网络的全连接层和输出层，将输出层神经元个数改为2，同时增加Dropout层防止过拟合，重构一个2分类的卷积神经网络，用步骤(三)中保留的参数初始化该2分类卷积神经网络中的卷积—池化层对，训练该2分类网络，用训练好的该网络对AD图像进行2分类，通过分类结果判断病人是否患有AD。
CN201810204007.3A 2018-03-13 2018-03-13 一种用于辅助诊断阿兹海默症的知识迁移学习方法 Active CN108492873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810204007.3A CN108492873B (zh) 2018-03-13 2018-03-13 一种用于辅助诊断阿兹海默症的知识迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810204007.3A CN108492873B (zh) 2018-03-13 2018-03-13 一种用于辅助诊断阿兹海默症的知识迁移学习方法

Publications (2)

Publication Number Publication Date
CN108492873A CN108492873A (zh) 2018-09-04
CN108492873B true CN108492873B (zh) 2021-03-16

Family

ID=63338675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810204007.3A Active CN108492873B (zh) 2018-03-13 2018-03-13 一种用于辅助诊断阿兹海默症的知识迁移学习方法

Country Status (1)

Country Link
CN (1) CN108492873B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930349A (zh) * 2018-09-18 2020-03-27 罗亚川 一种利用卷积神经网络的医学图像处理装置与方法
CN109558906B (zh) * 2018-11-23 2022-05-03 四川大学 基于高斯隐变量降维聚类中心的功能磁共振聚类成像方法
CN110210536A (zh) * 2019-05-22 2019-09-06 北京邮电大学 一种光互连系统的物理损伤诊断方法及装置
CN110534195B (zh) * 2019-09-05 2022-11-08 深圳龙岗智能视听研究院 一种基于数据空间变换的阿尔兹海默症检测方法
CN110751191A (zh) * 2019-09-27 2020-02-04 广东浪潮大数据研究有限公司 一种图像的分类方法及系统
CN110674773A (zh) * 2019-09-29 2020-01-10 燧人(上海)医疗科技有限公司 一种痴呆症的识别系统、装置及存储介质
CN110930391A (zh) * 2019-11-26 2020-03-27 北京华医共享医疗科技有限公司 一种基于VggNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN111488934A (zh) * 2020-04-13 2020-08-04 脑结构(南京)科技有限公司 脑影像数据处理方法、存储介质、计算机设备和装置
CN114783072B (zh) * 2022-03-17 2022-12-30 哈尔滨工业大学（威海） 一种基于远域迁移学习的图像识别方法
CN114999628B (zh) * 2022-04-26 2023-06-02 暨南大学 一种利用机器学习寻找退行性膝骨关节炎显著性特征方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204581A (zh) * 2016-07-08 2016-12-07 西安交通大学 基于pca与k均值聚类的动态脑功能连接模式分解方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529451B2 (en) * 2015-03-12 2020-01-07 Wayne State University PINS: a perturbation clustering approach for data integration and disease subtyping
US10452899B2 (en) * 2016-08-31 2019-10-22 Siemens Healthcare Gmbh Unsupervised deep representation learning for fine-grained body part recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204581A (zh) * 2016-07-08 2016-12-07 西安交通大学 基于pca与k均值聚类的动态脑功能连接模式分解方法
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?;Nima等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20160531;第1299-1312页 *
基于迁移学习和深度卷积神经网络的乳腺肿瘤诊断系统;褚晶辉等;《激光与光电子学进展》;20171201;全文 *

Also Published As

Publication number Publication date
CN108492873A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108492873B (zh) 一种用于辅助诊断阿兹海默症的知识迁移学习方法
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN110534192B (zh) 一种基于深度学习的肺结节良恶性识别方法
US20230075309A1 (en) Electroencephalogram signal classification method and apparatus, device, storage medium and program product
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN110992351A (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN110859624A (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
WO2023173804A1 (zh) 一种共享子空间学习的脑机信息融合分类方法及系统
Sanagavarapu et al. COVID-19 identification in CLAHE enhanced CT scans with class imbalance using ensembled resnets
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
Hang Thyroid nodule classification in ultrasound images by fusion of conventional features and res-GAN deep features
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN114881105A (zh) 基于transformer模型和对比学习的睡眠分期方法及系统
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN116912253A (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
CN108597602B (zh) 一种面向皮肤医学数据的标签纠错方法
CN116433679A (zh) 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法
CN113627391B (zh) 一种考虑个体差异的跨模式脑电信号识别方法
Lin et al. Hybrid CNN-SVM for alzheimer’s disease classification from structural MRI and the alzheimer’s disease neuroimaging initiative (ADNI)
CN110930349A (zh) 一种利用卷积神经网络的医学图像处理装置与方法
CN114998973A (zh) 一种基于域自适应的微表情识别方法
CN114400086A (zh) 一种基于深度学习的关节盘前移辅助诊断系统和方法
Shi et al. Semantic Decomposition Network With Contrastive and Structural Constraints for Dental Plaque Segmentation
CN115223001A (zh) 一种基于迁移学习的医学图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant