CN113392938A - 一种分类模型训练方法、阿尔茨海默病分类方法及装置 - Google Patents
一种分类模型训练方法、阿尔茨海默病分类方法及装置 Download PDFInfo
- Publication number
- CN113392938A CN113392938A CN202110875805.0A CN202110875805A CN113392938A CN 113392938 A CN113392938 A CN 113392938A CN 202110875805 A CN202110875805 A CN 202110875805A CN 113392938 A CN113392938 A CN 113392938A
- Authority
- CN
- China
- Prior art keywords
- classifier
- classification
- layer
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 141
- 238000013145 classification model Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 47
- 208000024827 Alzheimer disease Diseases 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了提供了一种分类模型训练方法、阿尔茨海默病分类方法及装置，构建的分类网络包括骨干网络、注意力层和分类器，骨干网络包括若干个特征提取层，各特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他分类器为学生分类器；通过构建的训练样本训练分类网络，得到学生分类器和老师分类器输出的训练样本的预测标签；根据训练样本的预测标签、真实标签以及学生分类器和老师分类器中的特征计算损失值；通过损失值更新分类网络的参数，直至分类网络收敛，去除收敛后的分类网络中的学生分类器以及学生分类器连接的注意力层，得到分类模型，改善了现有技术存在的分类准确率不高的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种分类模型训练方法、阿尔茨海默病分类方法及装置。
背景技术
医学图像处理是图像处理和机器学习的一个发展方向。随着人口老龄化的发展，阿尔茨海默病(Alzheimer’s Disease,AD)作为最常见的老年痴呆症之一，给人们的生活尤其是患者及其家人的生活带来了极大的影响。阿尔茨海默病的分类作为医学图像分类领域的一个重要分支，对AD的计算机辅助诊断具有重要意义，特别是对于病情的前期诊断及病情恶化的及时控制尤为重要。由于该疾病的特殊性，大多数阿尔茨海默症的病因仍然未知。目前阿尔茨海默症通常是根据患者的医学影像和临床评估指标进行诊断的。常用来诊断阿尔茨海默症的医学影像包括计算机断层扫描(CT)、磁共振成像(MRI)或正电子发射断层扫描(PET)，通过观察脑部区域形态变化，可帮助诊断阿尔茨海默症和排除其他脑部疾病或痴呆的亚型。磁共振成像可以在同一扫描过程中提供关于大脑结构和功能的多模态信息，基于此原因，深度学习在计算机辅助诊断阿尔茨海默症和轻度认知障碍中有着突出的效果。其主要是用于区分阿尔茨海默症患者(AD)和健康个体(CN)。
现有的阿尔茨海默病分类方法的分类准确率不高，若直接加深网络结构，会增加计算量和存储量，导致网络模型难以部署在资源有限的设备和实时应用上。
发明内容
本申请提供了一种分类模型训练方法、阿尔茨海默病分类方法及装置，用于改善现有技术存在的分类准确率不高的技术问题。
有鉴于此，本申请第一方面提供了一种分类模型训练方法，包括：
构建分类网络，所述分类网络包括骨干网络、注意力层和分类器，所述骨干网络包括若干个特征提取层，各所述特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；
根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过所述训练样本训练所述分类网络，得到所述学生分类器和所述老师分类器输出的所述训练样本的预测标签；
根据所述学生分类器和所述老师分类器输出的所述训练样本的预测标签、该训练样本的真实标签以及所述学生分类器和所述老师分类器中的特征计算损失值；
通过所述损失值更新所述分类网络的参数，直至所述分类网络收敛，去除收敛后的所述分类网络中的所述学生分类器以及所述学生分类器连接的注意力层，得到分类模型。
可选的，所述骨干网络为优化后的Resnet18网络，所述优化后的Resnet18网络为将原Resnet18网络中的每个Resnet block层去掉一个Basicblock层后得到。
可选的，所述分类器包括特征对齐层和Softmax层，所述特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐。
可选的，所述分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
本申请第二方面提供了一种阿尔茨海默病分类方法，包括：
获取待分类头部图像；
将所述待分类头部图像输入到分类模型中进行分类，得到所述待分类头部图像的分类结果，其中，所述分类模型通过第一方面任一种所述的分类模型训练方法训练得到。
本申请第三方面提供了一种分类模型训练装置，包括：
构建单元，用于构建分类网络，所述分类网络包括骨干网络、注意力层和分类器，所述骨干网络包括若干个特征提取层，各所述特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；
训练单元，用于根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过所述训练样本训练所述分类网络，得到所述学生分类器和所述老师分类器输出的所述训练样本的预测标签；
计算单元，用于根据所述学生分类器和所述老师分类器输出的所述训练样本的预测标签、该训练样本的真实标签以及所述学生分类器和所述老师分类器中的特征计算损失值；
更新单元，用于通过所述损失值更新所述分类网络的参数，直至所述分类网络收敛，去除收敛后的所述分类网络中的所述学生分类器以及所述学生分类器连接的注意力层，得到分类模型。
可选的，所述骨干网络为优化后的Resnet18网络，所述优化后的Resnet18网络为将原Resnet18网络中的每个Resnetblock层去掉一个Basicblock层后得到。
可选的，所述分类器包括特征对齐层和Softmax层，所述特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐。
可选的，所述分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
本申请第四方面提供了一种阿尔茨海默病分类装置，包括：
获取单元，用于获取待分类头部图像；
分类单元，用于将所述待分类头部图像输入到分类模型中进行分类，得到所述待分类头部图像的分类结果，其中，所述分类模型通过第一方面任一种所述的分类模型训练方法训练得到。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种分类模型训练方法，包括：构建分类网络，分类网络包括骨干网络、注意力层和分类器，骨干网络包括若干个特征提取层，各特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过训练样本训练分类网络，得到学生分类器和老师分类器输出的训练样本的预测标签；根据学生分类器和老师分类器输出的训练样本的预测标签、该训练样本的真实标签以及学生分类器和老师分类器中的特征计算损失值；通过损失值更新分类网络的参数，直至分类网络收敛，去除收敛后的分类网络中的学生分类器以及学生分类器连接的注意力层，得到分类模型。
本申请中，在分类网络的不同特征提取层后分别增加了一个基于注意力的分类器，通过增加注意力层，提高分类网络的特征提取性能，在训练时，将深层的分类器作为老师模型，浅层的分类器作为学生模型，通过学生分类器与老师分类器的预测结果、以及学生分类器和老师分类器中的特征计算得到的损失值来指导学生模型的训练，以进一步优化分类网络，提高分类准确性；并且在获取最终的分类模型时，去除浅层的分类器和注意力层，在实际应用中，在保证分类准确性的前提下，不会带来额外的参数和计算量，使得分类模型可以部署在资源有限的设备和实时应用上，改善了现有技术存在的分类准确率不高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种分类模型训练方法的一个流程示意图；
图2为本申请实施例提供的一种分类网络的一个结构示意图；
图3为本申请实施例提供的一种阿尔茨海默病分类方法的一个流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种分类模型的训练方法的一个实施例，包括：
步骤101、构建分类网络，分类网络包括骨干网络、注意力层和分类器，骨干网络包括若干个特征提取层，各特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器。
本申请实施例构建的分类网络包括骨干网络、注意力层和分类器，其中，注意力层用于基于注意力机制提取有用的中间层特征，骨干网络优选为优化后的Resnet18网络，通过将原Resnet18网络中的每个Resnet block层去掉一个Basicblock层后得到优化后的Resnet18网络，优化后的Resnet18网络减少了卷积层，进而可以减少计算量。优化后的Resnet18网络包括4个Resnet block层，每个Resnet block层就是一个特征提取层，每个特征提取层通过注意力层连接一个分类器，前三层特征提取层连接的分类器为学生分类器，最后一层特征提取层连接的分类器为老师分类器，用于指导学生分类器训练。学生分类器为浅层分类器，老师分类器为深层分类器。三个学生分类器的输出可以表示为：
c1(x)＝g1(f1(x))；
c2(x)＝g2(f2(f1(x)))；
c3(x)＝g3(f3(f2(f1(x))))；
式中，f1(·)、f2(·)、f3(·)分别为第一、第二、第三个特征提取层，g1(·)、g2(·)、g3(·)分别为第一、第二、第三个特征提取层连接的学生分类器，x为分类网络的输入数据，c1(x)、c2(x)、c3(x)分别为第一、第二、第三个学生分类器的输出。
老师分类器的输出c4(x)可以表示为：
c4(x)＝g4(f4(f3(f2(f1(x)))))；
式中，g4(·)为老师分类器，f4(·)为第四个特征提取层。
可以理解的是，本申请实施例中的骨干网络还可以采用其他的网络结构，在此不做具体限定。
进一步，本申请实施例中的分类器包括特征对齐层和Softmax层，特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐，使得当前分类器的输入特征的维数与上一个分类器的输入特征的维数一致，其中，第一个学生分类器中的特征对齐层用于将第一个分类器的输入特征与老师分类器的输入特征进行对齐。
Softmax层是基于平滑温度为T的标签分布，当分类器个数为K时，对于学生分类器gi，i＝1,2,...,K-1，gi＝qT(Fi)，Fi为特征对齐层的输出，qT被定义为：
步骤102、根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过训练样本训练分类网络，得到学生分类器和老师分类器输出的训练样本的预测标签。
获取有阿尔茨海默症的头部图像以及健康的头部图像，对头部图像进行标签标注，得到n个训练样本
xj为第j个训练样本，yj为第j个训练样本的真实标签。通过训练样本训练构建好的分类网络，在训练时，首先通过训练样本预训练老师分类器构成的老师网络，预训练完成后，通过老师分类器指导学生分类器训练，对学生分类器设置了不同的阈值，若学生分类器中的Softmax层的最大输出大于对应的阈值，则将该学生分类器的输出结果视为最终预测，从而可以减少计算量；否则，采用更深层次的分类器进行预测，若没有浅层分类器可以提供可靠的预测(即预测输出未超过阈值)，则将所有分类器的输出结果集成作为最终预测结果。
步骤103、根据学生分类器和老师分类器输出的训练样本的预测标签、该训练样本的真实标签以及学生分类器和老师分类器中的特征计算损失值。
本申请实施例中，分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi∈[0,1]为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi>0为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
其中，
是为浅层网络增加的一项惩罚项，用于计算浅层分类器中的特征向量与深层分类器中的特征向量之间的距离，以进一步优化浅层网络。
步骤104、通过损失值更新分类网络的参数，直至分类网络收敛，去除收敛后的分类网络中的学生分类器以及学生分类器连接的注意力层，得到分类模型。
计算得到损失值后，通过该损失值更新分类网络的参数，为了调整网络更新权重和偏差参数的方式，本申请实施例采用Adam方法，根据预先设置的权重衰减系数进行参数更新，并且，根据训练情况动态设置学习率。直至分类网络收敛，得到训练好的分类网络，去除收敛后的分类网络中的学生分类器以及学生分类器连接的注意力层，保留训练好的骨干网络和老师分类器以及骨干网络和老师分类器之间的注意力层，得到最终的分类模型。
本申请实施例中，在分类网络的不同特征提取层后分别增加了一个基于注意力的分类器，通过增加注意力层，提高分类网络的特征提取性能，在训练时，将深层的分类器作为老师模型，浅层的分类器作为学生模型，通过学生分类器与老师分类器的预测结果、以及学生分类器和老师分类器中的特征计算得到的损失值来指导学生模型的训练，以进一步优化分类网络，提高分类准确性；并且在获取最终的分类模型时，去除浅层的分类器和注意力层，在实际应用中，在保证分类准确性的前提下，不会带来额外的参数和计算量，使得分类模型可以部署在资源有限的设备和实时应用上，改善了现有技术存在的分类准确率不高的技术问题。
以上为本申请提供的一种分类模型训练方法的一个实施例，以下为本申请提供的一种阿尔茨海默病分类方法的一个实施例。
请参考图3，本申请实施例提供的一种阿尔茨海默病分类方法，包括：
步骤201、获取待分类头部图像。
可以通过医学影像设备获取用户的待分类头部图像。
步骤202、将待分类头部图像输入到分类模型中进行分类，得到待分类头部图像的分类结果。
将待分类头部图像输入到分类模型中，通过骨干网络进行特征提取，提取的特征结果注意力层处理后输入到老师分类器进行分类，得到待分类头部图像的分类结果。其中，分类模型通过前述方法实施例中的分类模型训练方法训练得到。
本申请实施例中的分类模型结果简单，计算过程不复杂，分类准确率高，可以部署到资源有限的设备中。
本申请实施例还提供了一种分类模型训练装置，包括：
构建单元，用于构建分类网络，分类网络包括骨干网络、注意力层和分类器，骨干网络包括若干个特征提取层，各特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；
训练单元，用于根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过训练样本训练分类网络，得到学生分类器和老师分类器输出的训练样本的预测标签；
计算单元，用于根据学生分类器和老师分类器输出的训练样本的预测标签、该训练样本的真实标签以及学生分类器和老师分类器中的特征计算损失值；
更新单元，用于通过损失值更新分类网络的参数，直至分类网络收敛，去除收敛后的分类网络中的学生分类器以及学生分类器连接的注意力层，得到分类模型。
作为进一步地改进，骨干网络为优化后的Resnet18网络，优化后的Resnet18网络为将原Resnet18网络中的每个Resnet block层去掉一个Basicblock层后得到。
作为进一步地改进，分类器包括特征对齐层和Softmax层，特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐。
作为进一步地改进，分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
本申请实施例中，在分类网络的不同特征提取层后分别增加了一个基于注意力的分类器，通过增加注意力层，提高分类网络的特征提取性能，在训练时，将深层的分类器作为老师模型，浅层的分类器作为学生模型，通过学生分类器与老师分类器的预测结果、以及学生分类器和老师分类器中的特征计算得到的损失值来指导学生模型的训练，以进一步优化分类网络，提高分类准确性；并且在获取最终的分类模型时，去除浅层的分类器和注意力层，在实际应用中，在保证分类准确性的前提下，不会带来额外的参数和计算量，使得分类模型可以部署在资源有限的设备和实时应用上，改善了现有技术存在的分类准确率不高的技术问题。
本申请实施例还提供了一种阿尔茨海默病分类装置，包括：
获取单元，用于获取待分类头部图像；
分类单元，用于将待分类头部图像输入到分类模型中进行分类，得到待分类头部图像的分类结果，其中，分类模型通过前述方法实施例中的分类模型训练方法训练得到。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种分类模型训练方法，其特征在于，包括：
构建分类网络，所述分类网络包括骨干网络、注意力层和分类器，所述骨干网络包括若干个特征提取层，各所述特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；
根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过所述训练样本训练所述分类网络，得到所述学生分类器和所述老师分类器输出的所述训练样本的预测标签；
根据所述学生分类器和所述老师分类器输出的所述训练样本的预测标签、该训练样本的真实标签以及所述学生分类器和所述老师分类器中的特征计算损失值；
通过所述损失值更新所述分类网络的参数，直至所述分类网络收敛，去除收敛后的所述分类网络中的所述学生分类器以及所述学生分类器连接的注意力层，得到分类模型。
2.根据权利要求1所述的分类模型训练方法，其特征在于，所述骨干网络为优化后的Resnet18网络，所述优化后的Resnet18网络为将原Resnet18网络中的每个Resnetblock层去掉一个Basicblock层后得到。
3.根据权利要求1所述的分类模型训练方法，其特征在于，所述分类器包括特征对齐层和Softmax层，所述特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐。
4.根据权利要求3所述的分类模型训练方法，其特征在于，所述分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
5.一种阿尔茨海默病分类方法，其特征在于，包括：
获取待分类头部图像；
将所述待分类头部图像输入到分类模型中进行分类，得到所述待分类头部图像的分类结果，其中，所述分类模型通过权利要求1-4任一项所述的分类模型训练方法训练得到。
6.一种分类模型训练装置，其特征在于，包括：
构建单元，用于构建分类网络，所述分类网络包括骨干网络、注意力层和分类器，所述骨干网络包括若干个特征提取层，各所述特征提取层通过注意力层分别连接一个分类器，最后一层特征提取层连接的分类器为老师分类器，其他层特征提取层连接的分类器为学生分类器；
训练单元，用于根据获取的有阿尔茨海默症的和健康的头部图像构建训练样本，通过所述训练样本训练所述分类网络，得到所述学生分类器和所述老师分类器输出的所述训练样本的预测标签；
计算单元，用于根据所述学生分类器和所述老师分类器输出的所述训练样本的预测标签、该训练样本的真实标签以及所述学生分类器和所述老师分类器中的特征计算损失值；
更新单元，用于通过所述损失值更新所述分类网络的参数，直至所述分类网络收敛，去除收敛后的所述分类网络中的所述学生分类器以及所述学生分类器连接的注意力层，得到分类模型。
7.根据权利要求6所述的分类模型训练装置，其特征在于，所述骨干网络为优化后的Resnet18网络，所述优化后的Resnet18网络为将原Resnet18网络中的每个Resnetblock层去掉一个Basicblock层后得到。
8.根据权利要求6所述的分类模型训练装置，其特征在于，所述分类器包括特征对齐层和Softmax层，所述特征对齐层用于将当前分类器的输入特征与上一个分类器的输入特征进行对齐。
9.根据权利要求8所述的分类模型训练装置，其特征在于，所述分类网络的损失函数为：
式中，Loss为损失值，n为训练样本数量，K为分类器数量，αi为第i个分类器的模仿参数，LCE(·)为交叉熵损失函数，LKL(·)为相对熵函数，
为第i个分类器输出的第j个训练样本的预测标签，
为在第i个分类器处理第j个训练样本时，老师分类器输出的第j个训练样本的预测标签，βi为第i个分类器的权衡参数，λ为惩罚系数，L2为l2 -范数损失的平方，Fi j为第j个训练样本在第i个分类器中的特征对齐层的输出特征，
为在第i个分类器处理第j个训练样本时，第j个训练样本在老师分类器中的特征对齐层的输出特征。
10.一种阿尔茨海默病分类装置，其特征在于，包括：
获取单元，用于获取待分类头部图像；
分类单元，用于将所述待分类头部图像输入到分类模型中进行分类，得到所述待分类头部图像的分类结果，其中，所述分类模型通过权利要求1-4任一项所述的分类模型训练方法训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875805.0A CN113392938A (zh) | 2021-07-30 | 2021-07-30 | 一种分类模型训练方法、阿尔茨海默病分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875805.0A CN113392938A (zh) | 2021-07-30 | 2021-07-30 | 一种分类模型训练方法、阿尔茨海默病分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392938A true CN113392938A (zh) | 2021-09-14 |
Family
ID=77622507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110875805.0A Pending CN113392938A (zh) | 2021-07-30 | 2021-07-30 | 一种分类模型训练方法、阿尔茨海默病分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392938A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114512236A (zh) * | 2022-04-18 | 2022-05-17 | 山东师范大学 | 一种阿尔兹海默症智能辅助诊断系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647736A (zh) * | 2018-05-16 | 2018-10-12 | 南京大学 | 一种基于感知损失和匹配注意力机制的图像分类方法 |
| US20180365564A1 (en) * | 2017-06-15 | 2018-12-20 | TuSimple | Method and device for training neural network |
| CN110223281A (zh) * | 2019-06-06 | 2019-09-10 | 东北大学 | 一种数据集中含有不确定数据时的肺结节图像分类方法 |
| CN110472730A (zh) * | 2019-08-07 | 2019-11-19 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法 |
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| CN110929869A (zh) * | 2019-12-05 | 2020-03-27 | 同盾控股有限公司 | 注意力模型的训练方法、装置、设备及存储介质 |
| US20200293874A1 (en) * | 2019-03-12 | 2020-09-17 | Microsoft Technology Licensing, Llc | Matching based intent understanding with transfer learning |
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN111950638A (zh) * | 2020-08-14 | 2020-11-17 | 厦门美图之家科技有限公司 | 基于模型蒸馏的图像分类方法、装置和电子设备 |
| CN112784964A (zh) * | 2021-01-27 | 2021-05-11 | 西安电子科技大学 | 基于桥接知识蒸馏卷积神经网络的图像分类方法 |
| CN112801212A (zh) * | 2021-03-02 | 2021-05-14 | 东南大学 | 一种基于小样本半监督学习的白细胞分类计数方法 |
| CN112906747A (zh) * | 2021-01-25 | 2021-06-04 | 北京工业大学 | 一种基于知识蒸馏的图像分类方法 |
| CN113159073A (zh) * | 2021-04-23 | 2021-07-23 | 上海芯翌智能科技有限公司 | 知识蒸馏方法及装置、存储介质、终端 |
-
2021
- 2021-07-30 CN CN202110875805.0A patent/CN113392938A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180365564A1 (en) * | 2017-06-15 | 2018-12-20 | TuSimple | Method and device for training neural network |
| CN108647736A (zh) * | 2018-05-16 | 2018-10-12 | 南京大学 | 一种基于感知损失和匹配注意力机制的图像分类方法 |
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| US20200293874A1 (en) * | 2019-03-12 | 2020-09-17 | Microsoft Technology Licensing, Llc | Matching based intent understanding with transfer learning |
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN110223281A (zh) * | 2019-06-06 | 2019-09-10 | 东北大学 | 一种数据集中含有不确定数据时的肺结节图像分类方法 |
| CN110472730A (zh) * | 2019-08-07 | 2019-11-19 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN110929869A (zh) * | 2019-12-05 | 2020-03-27 | 同盾控股有限公司 | 注意力模型的训练方法、装置、设备及存储介质 |
| CN111950638A (zh) * | 2020-08-14 | 2020-11-17 | 厦门美图之家科技有限公司 | 基于模型蒸馏的图像分类方法、装置和电子设备 |
| CN112906747A (zh) * | 2021-01-25 | 2021-06-04 | 北京工业大学 | 一种基于知识蒸馏的图像分类方法 |
| CN112784964A (zh) * | 2021-01-27 | 2021-05-11 | 西安电子科技大学 | 基于桥接知识蒸馏卷积神经网络的图像分类方法 |
| CN112801212A (zh) * | 2021-03-02 | 2021-05-14 | 东南大学 | 一种基于小样本半监督学习的白细胞分类计数方法 |
| CN113159073A (zh) * | 2021-04-23 | 2021-07-23 | 上海芯翌智能科技有限公司 | 知识蒸馏方法及装置、存储介质、终端 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114512236A (zh) * | 2022-04-18 | 2022-05-17 | 山东师范大学 | 一种阿尔兹海默症智能辅助诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150478B (zh) | 一种构建半监督图像分割框架的方法及系统 | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习系统 | |
| Dimitriadis et al. | Improving the reliability of network metrics in structural brain networks by integrating different network weighting strategies into a single graph | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| CN113616184A (zh) | 基于多模态磁共振图像的脑网络建模与个体预测方法 | |
| CN107967686B (zh) | 一种联合动态脑网络和长短时记忆网络的癫痫识别装置 | |
| CN112488976A (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN108960341A (zh) | 一种面向脑网络的结构化特征选择方法 | |
| CN110298364A (zh) | 面向功能性脑网络的多阈值下基于多任务的特征选择方法 | |
| CN111540467B (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN113392938A (zh) | 一种分类模型训练方法、阿尔茨海默病分类方法及装置 | |
| CN113255734A (zh) | 一种基于自监督学习和迁移学习的抑郁症分类方法 | |
| CN112200810A (zh) | 多模态的自动化脑室分割系统及其使用方法 | |
| CN115409843B (zh) | 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法 | |
| CN116956138A (zh) | 一种基于多模态学习的影像基因融合分类方法 | |
| CN116630289A (zh) | 一种基于多模态mri的脑胶质瘤cdkn2a/b基因状态分类预测方法 | |
| CN115760900A (zh) | 基于ResNet-GCN网络模型的脑胶质瘤恶性程度分级方法 | |
| CN112561935B (zh) | 一种大脑影像智能分类方法、装置和设备 | |
| CN115565676A (zh) | 一种基于影像组学的阿尔兹海默症风险预测平台 | |
| CN114847922A (zh) | 一种基于纤维束自动识别的脑年龄预测方法 | |
| Coupé et al. | Simultaneous segmentation and grading of hippocampus for patient classification with Alzheimer’s disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |