CN111461232A - 一种基于多策略批量式主动学习的核磁共振图像分类方法 - Google Patents
一种基于多策略批量式主动学习的核磁共振图像分类方法 Download PDFInfo
- Publication number
- CN111461232A CN111461232A CN202010255463.8A CN202010255463A CN111461232A CN 111461232 A CN111461232 A CN 111461232A CN 202010255463 A CN202010255463 A CN 202010255463A CN 111461232 A CN111461232 A CN 111461232A
- Authority
- CN
- China
- Prior art keywords
- unlabeled
- samples
- sample
- neural network
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 64
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 18
- 210000004884 grey matter Anatomy 0.000 claims description 15
- 210000004556 brain Anatomy 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 5
- 210000001175 cerebrospinal fluid Anatomy 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 2
- 208000024827 Alzheimer disease Diseases 0.000 abstract description 19
- 208000010877 cognitive disease Diseases 0.000 abstract description 9
- 230000019771 cognition Effects 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 208000027061 mild cognitive impairment Diseases 0.000 abstract description 6
- 238000011176 pooling Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004574 scanning tunneling microscopy Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多策略批量式主动学习的核磁共振图像分类方法，属于智能医疗诊断领域，该方法包括以下步骤:获取受试者的核磁共振图像作为原始数据集，在未标注样本集中随机选取K个样本，进行标注，构建卷积神经网络模型和卷积自编码器模型，利用验证集对再次训练后的卷积神经网络模型进行验证，得到训练完成的卷积神经网络模型，将未标注的测试集输入训练完成的卷积神经网络模型，得到认知正常、轻度认知障碍和阿尔茨海默病三类受试者核磁共振图像的最终分类结果，该方法缓解了筛选出的样本之间的冗余信息，获得了高质量的标注样本；在确保分类准确率较高的前提下，降低了核磁共振图像的标注成本，高效的辅助医生对阿尔茨海默病进行诊断。
Description
技术领域
本发明涉及智能医疗诊断领域，尤其涉及一种基于多策略批量式主动学习的核磁共振图像分类方法。
背景技术
阿尔茨海默病(Alzheimer’s disease，AD)，又称老年痴呆症，是一种不可逆的大脑神经退行性疾病，AD高发于老年人群，患者通常伴有记忆力衰退和认知障碍等症状。通常，阿尔茨海默病的诊断可以看作一个分类问题，即判断一个受试者是属于认知正常、轻度认知障碍和阿尔茨海默病中的哪一类。
目前，核磁共振成像(MagneticResonanceImaging，MRI)已被广泛应用于阿尔茨海默病的临床诊断中。MRI是由一系列2D切片图像组成的3D图像，它具有高分辨率、高对比度及软组织分辨能力强等特点，为阿尔茨海默病的诊断提供了有力的帮助。
随着大数据的出现和计算机运算能力的不断突破，深度学习在很多领域取得了显著的成绩，其中就包括在医学图像处理方面的应用。目前，虽然基于深度学习的阿尔茨海默病诊断方法取得了较好的效果，但是以监督学习为主的深度学习方法需要大量的带标注样本指导模型进行训练，从而不断提升模型的性能。而医学图像标注通常需要较高人工成本和时间成本，因为其通常需要具备专业知识的医生进行标注，并且标注时间长。因此，需要考虑如何以更少的标注代价来获得较优秀的分类性能。批量式主动学习是主动学习方法中的一种，它作为缓解标注样本不足的方法，取得了显著的成绩。但是传统的批量式主动学习方法在筛选样本时，仅使用单一的不确定性策略或者多样性策略进行筛选，导致筛选出的样本存在大量冗余信息，造成了额外的标注代价。
发明内容
根据现有技术存在的问题，本发明公开了一种基于多策略批量式主动学习的核磁共振图像分类方法，包括以下步骤:
S1:获取受试者的核磁共振图像作为原始数据集，对原始数据集进行预处理，得到未标注样本集、未标注的验证集和未标注的测试集；
S2:在未标注样本集中随机选取K个样本，对这K个样本进行标注，形成标注样本集，并将这K个样本从未标注样本集中移除,得到移除后的未标注样本集；对未标注的验证集进行标注，得到标注后的验证集；
S3:构建卷积神经网络模型和卷积自编码器模型，利用标注样本集中的样本对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；使用标注样本集和未标注样本集中的样本对卷积自编码器模型进行训练，得到训练后的卷积自编码器模型；
S4:利用训练后的卷积神经网络模型对未标注样本集进行预测，得到移除后未标注样本集中的每个样本的概率预测值；
S5:采用三个不同阶段的筛选策略从移除后未标注样本集中选择具有不确定性、代表性和多样性的未标注样本，进行再标注，加入标注样本集，形成新的标注样本集,将再标注的样本从未标注样本集中移除；
S6:利用再标注样本对卷积神经网络模型再次进行训练,得到再次训练后的卷积神经网络模型；
S7:利用验证集对再次训练后的卷积神经网络模型进行验证，得到当前卷积神经网络模型的分类准确率,当分类准确率小于阈值，返回S4；当分类准确率大于或等于阈值时或者未标注样本集为空集的时，得到训练完成的卷积神经网络模型；
S8:将未标注的测试集输入训练完成的卷积神经网络模型，得到核磁共振图像对应的受试者的最终分类结果。
进一步地：对原始数据集进行预处理包括以下步骤：
S1-1:将核磁共振图像进行头部校正、配准和分割操作，得到脑灰质、脑白质和脑脊液三种图像；
S1-2:对脑灰质图像进行空间标准化和高斯平滑操作，得到处理后的脑灰质图像；
S1-3:调整处理后的脑灰质图像的大小，得到脑灰质图像数据集；
S1-4:对脑灰质图像数据集进行划分，得到未标注样本集、未标注验证集和未标注测试集；
S1-5:分别对未标注样本集、未标注验证集和未标注测试集进行数据扩充，得到扩充后的未标注样本集、未标注验证集和未标注测试集。
进一步地：所述三个不同阶段的筛选策略选择具有不确定性、代表性和多样性的未标注样本进行标注的过程如下：
S5-1:第一阶段，利用不确定性策略进行筛选,根据未标注样本的概率预测值，计算未标注样本的熵值，将未标注样本的熵值从大到小进行排序，选择前n*K个未标注样本；
S5-2:第二阶段，利用代表性策略进行筛选,将前n*K个未标注样本采用训练好的卷积自编码器；提取n*K个未标注样本的特征，利用聚类算法对n*K个未标注样本的特征进行聚类，得到K个未标注样本簇；
S5-3:第三阶段，利用多样性策略进行筛选,计算每个未标注样本簇中所有未标注样本到标注样本集的距离，从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本，进行标注。
进一步地：所述卷积神经网络模型以DenseNet-121网络为基础，扩展至3D-DenseNet-121网络，再减少3D-DenseNet-121网络中的密集块的数量及减少剩余的密集块中的卷积层数量,在相邻密集块之间加入空洞卷积和卷积长短时记忆网络，形成卷积神经网络模型。
进一步地：所述卷积自编码器模型包括编码器、隐藏层和解码器，所述编码器由卷积层组成；所述隐藏层由全连接层组成；所述解码器由反卷积层组成。
进一步地：所述未标注样本簇中所有未标注样本到标注样本集的距离采用如下公式进行计算：
其中，L是标注样本集，l是标注样本集中的标注样本，uj是当前未标注样本簇中的未标注样本，d(uj,l)是uj到l的欧氏距离，
是未标注样本uj到标注样本集L的距离。
进一步地：所述从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本采用如下公式进行计算：
其中，Ui是第i个未标注样本簇，i＝1，2，…，K；
是未标注样本簇Ui中所有未标注样本到标注样本集L的距离的集合；u是最后筛选出来的样本。
由于采用了上述技术方案，本发明提出了一种基于多策略批量式主动学习的核磁共振图像分类方法，针对标注样本较少的阿尔茨海默病核磁共振图像数据集，利用不确定性、代表性和多样性三种筛选策略，对未标注样本进行多重筛选，选择最具不确定性、代表性和多样性的样本进行标注，在一定程度上缓解了筛选出的样本之间的冗余信息，获得了高质量的标注样本；利用高质量标注样本对卷积神经网络模型进行训练，提升卷积神经网络模型的分类准确率。本方法在确保分类准确率较高的前提下，降低了核磁共振图像的标注成本，可以更高效的辅助医生对阿尔茨海默病进行诊断。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
图2为本发明卷积神经网络模型结构图。
图3为本发明卷积神经网络模型中的密集块结构图。
图4为本发明卷积神经网络模型中的MDCLSTM结构图。
图5为本发明卷积自编码器结构图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
图1为本发明的方法流程图，一种基于多策略批量式主动学习的核磁共振图像分类方法，包括以下步骤:
S1:获取受试者的核磁共振图像作为原始数据集，对原始数据集进行预处理，得到未标注样本集、未标注的验证集和未标注的测试集；
S2:在未标注样本集中随机选取K个样本，对这K个样本进行标注，形成标注样本集，并将这K个样本从未标注样本集中移除,得到移除后的未标注样本集；对未标注的验证集进行标注，得到标注后的验证集；
S3:构建卷积神经网络模型和卷积自编码器模型，利用标注样本集中的样本对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；使用标注样本集和未标注样本集中的样本对卷积自编码器模型进行训练，得到训练后的卷积自编码器模型；
S4:利用训练后的卷积神经网络模型对未标注样本集进行预测，得到移除后未标注样本集中的每个样本的概率预测值；
S5:采用三个不同阶段的筛选策略从移除后未标注样本集中选择具有不确定性、代表性和多样性的未标注样本，进行再标注，加入标注样本集，形成新的标注样本集,将再标注的样本从未标注样本集中移除；
S6:利用再标注样本对卷积神经网络模型再次进行训练,得到再次训练后的卷积神经网络模型；
S7:利用验证集对再次训练后的卷积神经网络模型进行验证，得到当前卷积神经网络模型的分类准确率,当分类准确率小于阈值，返回S4；当分类准确率大于或等于阈值时或者未标注样本集为空集的时，得到训练完成的卷积神经网络模型；
S8:将未标注的测试集输入训练完成的卷积神经网络模型，得到认知正常、轻度认知障碍和阿尔茨海默病三类受试者核磁共振图像的最终分类结果。
进一步地，所述对核磁共振图像进行预处理的过程如下：
S1-1:将NIFTI格式核磁共振图像进行头部校正、配准和分割操作，得到脑灰质、脑白质和脑脊液三种图像；
S1-2:对脑灰质图像进行空间标准化和高斯平滑操作，得到处理后的脑灰质图像；
S1-3:调整处理后的脑灰质图像的大小，得到脑灰质图像数据集；
S1-4:对脑灰质图像数据集进行划分，得到未标注样本集、未标注验证集和未标注测试集；
S1-5:分别对未标注样本集、未标注验证集和未标注测试集进行数据扩充，得到扩充后的未标注样本集、未标注验证集和未标注测试集。
进一步地，所述构建卷积神经网络模型和卷积自编码器模型的过程如下：
S3-1:以DenseNet-121网络为基础，将DenseNet-121网络扩展至3D-DenseNet-121网络，减少所述3D-DenseNet-121网络的密集块数量，减少剩余的密集块中的卷积层数量，将第三个密集块的输出连接到全局池化层，将全局池化层的输出连接到输出层，得到三维轻量密集卷积网络；
S3-2:在所述三维轻量密集卷积网络的相邻密集块之间加入空洞卷积和卷积长短时记忆网络，组成所述卷积神经网络模型。
S3-3:以4层卷积层堆叠组成编码器，全连接层组成隐藏层，4层反卷积层组成解码器，将编码器的输出连接至隐藏层，将隐藏层的输出连接至解码器，得到所述卷积自编码器模型。
进一步地，所述三个不同阶段的筛选策略选择具有不确定性、代表性和多样性的未标注样本进行标注的过程如下：
S5-1:第一阶段，利用不确定性策略进行筛选,根据未标注样本的概率预测值，计算未标注样本的熵值，熵值越大则不确定性越高，将未标注样本的熵值从大到小进行排序，选择前4*K个未标注样本；
熵的计算公式为：
E(p)＝-p log(p)-(1-p)log(1-p) (1)
其中，p为未标注样本的概率预测值。
S5-2:第二阶段，利用代表性策略进行筛选,将前4*K个未标注样本采用训练好的卷积自编码器；提取4*K个未标注样本的特征，利用聚类算法对4*K个未标注样本的特征进行聚类，得到K个未标注样本簇；
S5-3:第三阶段，利用多样性策略进行筛选,计算每个未标注样本簇中所有未标注样本到标注样本集的距离，从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本，进行标注。
其中，定义未标注样本簇中每个未标注样本到标注样本集的距离为：未标注样本与标注样本集中各个样本距离的最小值。
其中，L是标注样本集，l是标注样本集中的标注样本，uj是当前未标注样本簇中的未标注样本，d(uj,l)是uj到l的欧氏距离，
是未标注样本uj到标注样本集L的距离。
从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本。
其中，Ui是第i个未标注样本簇，i＝1，2，…，K；
是未标注样本簇Ui中所有未标注样本到标注样本集L的距离的集合；u是最后筛选出来的未标注样本。
实施例1，一种基于多策略批量式主动学习的核磁共振图像分类方法，包括以下步骤:
S1:获取认知正常、轻度认知障碍和阿尔茨海默病三类受试者的脑部核磁共振图像作为原始数据集，数据集选取571个被试者数据，其中阿尔茨海默病受试者192个，轻度认知障碍受试者171个，认知正常受试者208个，对原始数据集进行预处理，得到未标注样本集、未标注的验证集和未标注的测试集；
其中：对原始数据集进行预处理包括以下步骤：
S1-1:利用SPM12对获取的核磁共振图像进行预处理，将NIFTI格式核磁共振图像进行头部校正、配准和分割操作，得到脑灰质、脑白质和脑脊液三种图像；
S1-2:对大小为256*166*256的脑灰质图像进行空间标准化和3*3*3高斯平滑操作，得到大小为121*145*121的脑灰质图像；
S1-3:调整121*145*121的脑灰质图像的大小，得到大小为112*112*112的脑灰质图像数据集；
S1-4:对脑灰质图像数据集以8:1:1的比例进行划分，得到未标注样本集、未标注验证集和未标注测试集；
S1-5:分别对未标注样本集、未标注验证集和未标注测试集进行数据扩充，得到扩充后的未标注样本集、未标注验证集和未标注测试集，扩充之后的三个集合包括5710个图像。
S2:在未标注样本集中随机选取K个样本，对这K个样本进行标注，形成标注样本集，并将这K个样本从未标注样本集中移除,得到移除后的未标注样本集；对未标注的验证集进行标注，得到标注后的验证集；
S3:构建卷积神经网络模型和卷积自编码器模型，利用标注样本集中的样本对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；使用标注样本集和未标注样本集中的样本对卷积自编码器模型进行训练，得到训练后的卷积自编码器模型；
其中，所述构建卷积神经网络模型和卷积自编码器模型的过程如下：
S3-1:以DenseNet-121网络为基础，将DenseNet-121网络扩展至3D-DenseNet-121网络，去掉3D-DenseNet-121网络中的任意一个密集块，对于剩余的三个密集块，将每个密集块中的1*1*1和3*3*3的卷积层数目统一减少为4层，将第三个密集块的输出连接到全局池化层，将全局池化层的输出连接到输出层，得到三维轻量密集卷积网络；
S3-2:在三维轻量密集卷积网络的第一个和第二个密集块之间以及第二个和第三个密集块之间加入空洞卷积和卷积长短时记忆网络，组成所述卷积神经网络模型。
S3-3:以4层卷积层堆叠组成编码器，全连接层组成隐藏层，4层反卷积层组成解码器，将编码器的输出连接至隐藏层，将隐藏层的输出连接至解码器，得到所述卷积自编码器模型。
图2为卷积神经网络模型图,所述卷积神经网络模型的第一层为具有32个卷积核的卷积层，卷积核的大小为7*7*7，将第一层的输出连接到第二层；第二层为池化层，池化核的大小为2*2*2，将第二层的输出连接到第一个密集块；将第一个密集块的输出连接到第一个MDCLSTM；将第一个MDCLSTM的输出连接到第二个密集块；将第二个密集块的输出连接到第二个MDCLSTM；将第二个MDCLSTM的输出连接到第三个密集块；将第三个密集块的输出连接到倒数第二层；倒数第二层为全局池化层，池化核大小为7*7*7，将全局池化层的输出连接到网络输出层，输出层的激活函数为Softmax。
图3为卷积神经网络模型中的密集块结构图,所述卷积神经网络模型的三个密集块的内部结构一样，每个密集块均由4组卷积运算操作组成，每组操作是由批归一化层(Batch Normalization，BN)、线性修正单元(Rectified Linear Unit，ReLU)、卷积核大小为1*1*1的卷积层和3*3*3的卷积层堆叠而成。其中，BN层和ReLU用来防止梯度弥散并保持网络非线性；1*1*1的卷积层也被称为瓶颈层，它可以降低输出特征图的数量，达到降维和减少计算量的目的；而3*3*3的卷积层则是为了提取核磁共振图像的单张切片特征和切片之间的连续变化信息；同时在每个1*1*1卷积层和3*3*3卷积层之后加入dropout层，防止网络模型过拟合，提高模型的泛化能力，并且密集块内部使用密集连接，即当前层的输入来自于前面所有层的输出，这种连接方式不仅加强了特征的传递，从而更有效的利用了各层特征，还减轻了深度神经网络的梯度消失问题，有助于深层网络训练。
图4为卷积神经网络模型中的MDCLSTM结构图,所述卷积神经网络模型的两个MDCLSTM的内部结构一样，每个MDCLSTM模块由多尺度空洞卷积、卷积核大小为1*1*1的卷积层、卷积长短时记忆网络和平均池化层组成；其中，多尺度空洞卷积包含3个不同扩张率的空洞卷积层(Dilated Convolution)，这三个空洞卷积层以并行的方式对前一个密集块的输出进行特征提取，通过设置不同大小的扩张率，达到扩张网络感受野的目的，进而在不同大小的感受野下对图像进行特征提取，得到多尺度特征图；将三个空洞卷积层的输出和前一个密集块的输出进行连接，输入到卷积核大小为1*1*1的卷积层中，得到特征融合后的特征图；将1*1*1卷积层的输出连接到卷积长短时记忆网络，学习切片间的连续变化信息；将卷积长短时记忆网络的输出连接到平均池化层，池化核大小为2*2*2，用来降低特征图的分辨率；将平均池化层的输出连接到下一个密集块进行后续卷积操作。
图5为卷积自编码器模型，所述卷积自编码器模型分别由编码器、隐藏层和解码器组成。其中，编码器由具有32、64、128和256个卷积核的卷积层堆叠组成，卷积核大小为3*3*3，步长为2；隐藏层由全连接层组成；解码器由具有128、64、32和1个卷积核的卷积层堆叠组成，卷积核大小为3*3*3，步长为2。
所述卷积神经网络模型的训练过程如下：基于TensorFlow深度学习框架，优化函数为Adam，基础学习率设置为0.0005，衰减率为1e-4，采用GPU进行加速训练。将标注样本输入到卷积神经网络模型，经过一系列卷积运算操作，通过Softmax激活函数得到认知正常和阿尔茨海默病两类受试者的分类结果，将分类结果和标签代入交叉熵损失函数，计算本次训练的损失值，并根据损失值进行反向传播，更新卷积神经网络模型中的权重参数。
所述卷积自编码器模型的训练过程如下：基于TensorFlow深度学习框架，优化函数为Adam，基础学习率设置为0.0004，衰减率为1e-4，采用GPU进行加速训练。将标注样本和未标注样本输入到卷积自编码器模型，经过编码和解码操作，得到解码器输出结果，将输入样本与输出结果代入均方误差损失函数，计算本次训练的损失值，并根据损失值进行反向传播，更新卷积自编码器模型中的权重参数。
S4:利用训练后的卷积神经网络模型对未标注样本集进行预测，得到移除后未标注样本集中的每个样本的概率预测值；
S5:采用三个不同阶段的筛选策略从移除后未标注样本集中选择具有不确定性、代表性和多样性的未标注样本，进行再标注，加入标注样本集，形成新的标注样本集,将再标注的样本从未标注样本集中移除；
其中：所述三个不同阶段的筛选策略选择具有不确定性、代表性和多样性的未标注样本进行标注的过程如下：
S5-1:第一阶段，利用不确定性策略进行筛选,根据未标注样本的概率预测值，计算未标注样本的熵值，熵值越大则不确定性越高，将未标注样本的熵值从大到小进行排序，选择前4*K个未标注样本；
熵的计算公式为：
E(p)＝-p log(p)-(1-p)log(1-p) (1)
其中，p为未标注样本的概率预测值。
S5-2:第二阶段，利用代表性策略进行筛选,将前4*K个未标注样本采用训练好的卷积自编码器；提取4*K个未标注样本的特征，利用聚类算法对4*K个未标注样本的特征进行聚类，得到K个未标注样本簇；该步骤用来衡量未标注样本之间的代表性。其中，卷积自编码器可以以较少的参数量提取图像较完备的特征，聚类算法通过无监督的训练方式将相似度较高的未标注样本聚成同一个簇，相似度较低的未标注样本分布在不同的簇。这样，每个簇中的一个未标注样本可以代表该簇的其他未标注样本，降低了标注代价。
S5-3:第三阶段，利用多样性策略进行筛选,计算每个未标注样本簇中所有未标注样本到标注样本集的距离，从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本，进行标注。
该步骤用来保证新加入的样本与标注样本集中的样本具有多样性，其中，定义未标注样本簇中每个未标注样本到标注样本集的距离为：未标注样本与标注样本集中各个样本距离的最小值。
其中，L是标注样本集，l是标注样本集中的标注样本，uj是当前未标注样本簇中的未标注样本，d(uj,l)是uj到l的欧氏距离，
是未标注样本uj到标注样本集L的距离。
从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本。
其中，Ui是第i个未标注样本簇，i＝1，2，…，K；
是未标注样本簇Ui中所有未标注样本到标注样本集L的距离的集合；u是最后筛选出来的未标注样本。
S6:利用再标注样本对卷积神经网络模型再次进行训练,得到再次训练后的卷积神经网络模型；
所述卷积神经网络模型的再训练过程如下：基于TensorFlow深度学习框架，优化函数为Adam，基础学习率设置为0.0005，衰减率为1e-4，采用GPU进行加速训练。将再标注样本输入到卷积神经网络模型，经过一系列卷积运算操作，通过Softmax激活函数得到认知正常和阿尔茨海默病两类受试者的分类结果，将分类结果和标签代入交叉熵损失函数，计算本次训练的损失值，并根据损失值进行反向传播，更新卷积神经网络模型中的权重参数。
S7:利用验证集对再次训练后的卷积神经网络模型进行验证，得到当前卷积神经网络模型的分类准确率,当分类准确率小于阈值，设定阈值为95％，返回S4；当分类准确率大于或等于阈值时或者未标注样本集为空集的时，得到训练完成的卷积神经网络模型；
S8:将未标注的测试集输入训练完成的卷积神经网络模型，得到认知正常、轻度认知障碍和阿尔茨海默病三类受试者核磁共振图像的最终分类结果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征在于,包括以下步骤:
S1:获取受试者的核磁共振图像作为原始数据集，对原始数据集进行预处理，得到未标注样本集、未标注的验证集和未标注的测试集；
S2:在未标注样本集中随机选取K个样本，对这K个样本进行标注，形成标注样本集，并将这K个样本从未标注样本集中移除,得到移除后的未标注样本集；对未标注的验证集进行标注，得到标注后的验证集；
S3:构建卷积神经网络模型和卷积自编码器模型，利用标注样本集中的样本对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；使用标注样本集和未标注样本集中的样本对卷积自编码器模型进行训练，得到训练后的卷积自编码器模型；
S4:利用训练后的卷积神经网络模型对未标注样本集进行预测，得到移除后未标注样本集中的每个样本的概率预测值；
S5:采用三个不同阶段的筛选策略从移除后未标注样本集中选择具有不确定性、代表性和多样性的未标注样本，进行再标注，加入标注样本集，形成新的标注样本集,将再标注的样本从未标注样本集中移除；
S6:利用再标注样本对卷积神经网络模型再次进行训练,得到再次训练后的卷积神经网络模型；
S7:利用验证集对再次训练后的卷积神经网络模型进行验证，得到核磁共振图像的分类准确率,当分类准确率小于阈值，返回S4；当分类准确率大于或等于阈值时或者未标注样本集为空集的时，得到训练完成的卷积神经网络模型；
S8:将未标注的测试集输入训练完成的卷积神经网络模型，得到核磁共振图像的最终分类结果。
2.根据权利要求1所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征还在于：对原始数据集进行预处理包括以下步骤：
S1-1:将核磁共振图像进行头部校正、配准和分割操作，得到脑灰质、脑白质和脑脊液三种图像；
S1-2:对脑灰质图像进行空间标准化和高斯平滑操作，得到处理后的脑灰质图像；
S1-3:调整处理后的脑灰质图像的大小，得到脑灰质图像数据集；
S1-4:对脑灰质图像数据集进行划分，得到未标注样本集、未标注验证集和未标注测试集；
S1-5:分别对未标注样本集、未标注验证集和未标注测试集进行数据扩充，得到扩充后的未标注样本集、未标注验证集和未标注测试集。
3.根据权利要求1所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征还在于：所述三个不同阶段的筛选策略选择具有不确定性、代表性和多样性的未标注样本进行标注的过程如下：
S5-1:第一阶段，利用不确定性策略进行筛选,根据未标注样本的概率预测值，计算未标注样本的熵值，将未标注样本的熵值从大到小进行排序，选择前n*K个未标注样本；
S5-2:第二阶段，利用代表性策略进行筛选,将前n*K个未标注样本采用训练好的卷积自编码器；提取n*K个未标注样本的特征，利用聚类算法对n*K个未标注样本的特征进行聚类，得到K个未标注样本簇；
S5-3:第三阶段，利用多样性策略进行筛选,计算每个未标注样本簇中所有未标注样本到标注样本集的距离，从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本，进行标注。
4.根据权利要求1所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征在于：所述卷积神经网络模型以DenseNet-121网络为基础，扩展至3D-DenseNet-121网络，再减少3D-DenseNet-121网络中的密集块的数量及减少剩余的密集块中的卷积层数量,在相邻密集块之间加入空洞卷积和卷积长短时记忆网络，形成卷积神经网络模型。
5.根据权利要求1所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征在于：所述卷积自编码器模型包括编码器、隐藏层和解码器，所述编码器由卷积层组成；所述隐藏层由全连接层组成；所述解码器由反卷积层组成。
6.根据权利要求2所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征在于：所述未标注样本簇中所有未标注样本到标注样本集的距离采用如下公式进行计算：
其中，L是标注样本集，l是标注样本集中的标注样本，uj是当前未标注样本簇中的未标注样本，d(uj,l)是uj到l的欧氏距离，
是未标注样本uj到标注样本集L的距离。
7.根据权利要求2所述的一种基于多策略批量式主动学习的核磁共振图像分类方法，其特征在于：所述从每个未标注样本簇中选择一个满足到标注样本集距离最大的未标注样本采用如下公式进行计算：
其中，Ui是第i个未标注样本簇，i＝1，2，…，K；
是未标注样本簇Ui中所有未标注样本到标注样本集L的距离的集合；u是最后筛选出来的样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255463.8A CN111461232A (zh) | 2020-04-02 | 2020-04-02 | 一种基于多策略批量式主动学习的核磁共振图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255463.8A CN111461232A (zh) | 2020-04-02 | 2020-04-02 | 一种基于多策略批量式主动学习的核磁共振图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111461232A true CN111461232A (zh) | 2020-07-28 |
Family
ID=71680474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010255463.8A Pending CN111461232A (zh) | 2020-04-02 | 2020-04-02 | 一种基于多策略批量式主动学习的核磁共振图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461232A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257812A (zh) * | 2020-11-12 | 2021-01-22 | 四川云从天府人工智能科技有限公司 | 一种标注样本确定方法、装置、机器可读介质及设备 |
| CN112257769A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学院自动化研究所 | 基于强化学习类脑读图的多层核磁影像分类方法及系统 |
| CN112308139A (zh) * | 2020-10-29 | 2021-02-02 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于主动学习的样本标注方法 |
| CN112488102A (zh) * | 2020-11-30 | 2021-03-12 | 中南大学 | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 |
| CN112508092A (zh) * | 2020-12-03 | 2021-03-16 | 上海云从企业发展有限公司 | 一种样本筛选方法、系统、设备及介质 |
| CN112614570A (zh) * | 2020-12-16 | 2021-04-06 | 上海壁仞智能科技有限公司 | 样本集标注、病理图像分类、分类模型构建方法及装置 |
| CN112926682A (zh) * | 2021-03-29 | 2021-06-08 | 华东理工大学 | 一种基于图网络的核磁共振影像小样本学习分类方法 |
| CN113177587A (zh) * | 2021-04-27 | 2021-07-27 | 西安电子科技大学 | 基于主动学习和变分自编码器的广义零样本目标分类方法 |
| CN113435492A (zh) * | 2021-06-21 | 2021-09-24 | 华中科技大学 | 一种基于主动学习的电力系统主导失稳模式判别方法 |
| CN113487617A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
| CN113554131A (zh) * | 2021-09-22 | 2021-10-26 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、系统和存储介质 |
| CN114596444A (zh) * | 2021-08-30 | 2022-06-07 | 广东省国土资源测绘院 | 一种举证照片辅助审核方法、电子设备及存储介质 |
| CN115482441A (zh) * | 2022-11-11 | 2022-12-16 | 北京阿丘科技有限公司 | 训练数据筛选方法、装置及计算机可读存储介质 |
| CN116884561A (zh) * | 2023-09-08 | 2023-10-13 | 紫东信息科技(苏州)有限公司 | 基于自监督联合学习的胃部诊断报告生成系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| CN109492776A (zh) * | 2018-11-21 | 2019-03-19 | 哈尔滨工程大学 | 基于主动学习的微博流行度预测方法 |
| US20190122077A1 (en) * | 2016-03-15 | 2019-04-25 | Impra Europe S.A.S. | Method for classification of unique/rare cases by reinforcement learning in neural networks |
-
2020
- 2020-04-02 CN CN202010255463.8A patent/CN111461232A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122077A1 (en) * | 2016-03-15 | 2019-04-25 | Impra Europe S.A.S. | Method for classification of unique/rare cases by reinforcement learning in neural networks |
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| CN109492776A (zh) * | 2018-11-21 | 2019-03-19 | 哈尔滨工程大学 | 基于主动学习的微博流行度预测方法 |
Non-Patent Citations (5)
| Title |
|---|
| LIN WANG 等: ""A Multiplication Optimization Level Set Algorithm for Image segmentation"", 《IEEE》 * |
| 吴伟宁: ""主动学习算法中采样策略研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 王腾川: ""基于主动学习的SAR图像分类方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 贾龙飞: ""基于CNN和GWAS的阿尔茨海默症早期诊断研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 金祝新 等: ""深度迁移学习辅助的阿尔兹海默氏症早期诊断"", 《计算机应用与软件》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257769A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学院自动化研究所 | 基于强化学习类脑读图的多层核磁影像分类方法及系统 |
| CN112257769B (zh) * | 2020-10-19 | 2022-10-21 | 中国科学院自动化研究所 | 基于强化学习类脑读图的多层核磁影像分类方法及系统 |
| CN112308139B (zh) * | 2020-10-29 | 2024-03-22 | 中科(厦门)数据智能研究院 | 一种基于主动学习的样本标注方法 |
| CN112308139A (zh) * | 2020-10-29 | 2021-02-02 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于主动学习的样本标注方法 |
| CN112257812A (zh) * | 2020-11-12 | 2021-01-22 | 四川云从天府人工智能科技有限公司 | 一种标注样本确定方法、装置、机器可读介质及设备 |
| CN112257812B (zh) * | 2020-11-12 | 2024-03-29 | 四川云从天府人工智能科技有限公司 | 一种标注样本确定方法、装置、机器可读介质及设备 |
| CN112488102A (zh) * | 2020-11-30 | 2021-03-12 | 中南大学 | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 |
| CN112508092A (zh) * | 2020-12-03 | 2021-03-16 | 上海云从企业发展有限公司 | 一种样本筛选方法、系统、设备及介质 |
| CN112614570A (zh) * | 2020-12-16 | 2021-04-06 | 上海壁仞智能科技有限公司 | 样本集标注、病理图像分类、分类模型构建方法及装置 |
| CN112614570B (zh) * | 2020-12-16 | 2022-11-25 | 上海壁仞智能科技有限公司 | 样本集标注、病理图像分类、分类模型构建方法及装置 |
| CN112926682A (zh) * | 2021-03-29 | 2021-06-08 | 华东理工大学 | 一种基于图网络的核磁共振影像小样本学习分类方法 |
| CN112926682B (zh) * | 2021-03-29 | 2024-04-16 | 华东理工大学 | 一种基于图网络的核磁共振影像小样本学习分类方法 |
| CN113177587A (zh) * | 2021-04-27 | 2021-07-27 | 西安电子科技大学 | 基于主动学习和变分自编码器的广义零样本目标分类方法 |
| CN113177587B (zh) * | 2021-04-27 | 2023-04-07 | 西安电子科技大学 | 基于主动学习和变分自编码器的广义零样本目标分类方法 |
| CN113435492A (zh) * | 2021-06-21 | 2021-09-24 | 华中科技大学 | 一种基于主动学习的电力系统主导失稳模式判别方法 |
| CN113435492B (zh) * | 2021-06-21 | 2022-04-22 | 华中科技大学 | 一种基于主动学习的电力系统主导失稳模式判别方法 |
| CN113487617A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
| CN114596444A (zh) * | 2021-08-30 | 2022-06-07 | 广东省国土资源测绘院 | 一种举证照片辅助审核方法、电子设备及存储介质 |
| CN113554131A (zh) * | 2021-09-22 | 2021-10-26 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、系统和存储介质 |
| CN115482441A (zh) * | 2022-11-11 | 2022-12-16 | 北京阿丘科技有限公司 | 训练数据筛选方法、装置及计算机可读存储介质 |
| CN116884561B (zh) * | 2023-09-08 | 2023-12-01 | 紫东信息科技(苏州)有限公司 | 基于自监督联合学习的胃部诊断报告生成系统 |
| CN116884561A (zh) * | 2023-09-08 | 2023-10-13 | 紫东信息科技(苏州)有限公司 | 基于自监督联合学习的胃部诊断报告生成系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| Nawaz et al. | A deep feature-based real-time system for Alzheimer disease stage detection | |
| CN109409416B (zh) | 特征向量降维方法和医学图像识别方法、装置及存储介质 | |
| WO2019200747A1 (zh) | 分割股骨近端的方法、装置、计算机设备和存储介质 | |
| CN113763442B (zh) | 一种可变形医学图像配准方法及系统 | |
| Huang et al. | Deep and wide multiscale recursive networks for robust image labeling | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN110738663A (zh) | 双域适应模块金字塔型网络及无监督域适应图像分割方法 | |
| CN111161271A (zh) | 一种超声图像分割方法 | |
| CN115841607A (zh) | 一种基于图注意力网络的脑网络结构和相似度的联合学习方法 | |
| Zhou et al. | Attention transfer network for nature image matting | |
| CN114708212A (zh) | 一种基于SEA-Unet的心脏图像分割方法 | |
| Huang et al. | Feature pyramid network with level-aware attention for meningioma segmentation | |
| CN111223113B (zh) | 基于双重密集上下文感知网络的核磁共振海马体分割算法 | |
| Dayananda et al. | A squeeze U-SegNet architecture based on residual convolution for brain MRI segmentation | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| Xiao et al. | Rcga-net: An improved multi-hybrid attention mechanism network in biomedical image segmentation | |
| Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
| Zhang et al. | ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation | |
| CN114529564A (zh) | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 | |
| CN114820524A (zh) | 一种mri图像中阿尔茨海默症的3d特征识别方法 | |
| CN114022521A (zh) | 一种非刚性多模医学图像的配准方法及系统 | |
| Huang et al. | Longitudinal Feature Selection and Feature Learning for Parkinson's Disease Diagnosis and Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240227 |
|
| AD01 | Patent right deemed abandoned |