CN112949728A - 基于切片图像筛选和特征聚合的mri图像分类方法 - Google Patents

Abstract

一种基于切片图像筛选和特征聚合的MRI图像分类方法，训练时：获取训练集和验证集中每幅MRI图像的切片图像及每张切片图像对应的切片向量，并对所有切片向量进行聚类，组成切片图像簇；根据切片图像簇对切片图像分类模块进行训练和验证，并提取知识性簇；将知识性簇输入到知识性切片特征提取模块中得到切片特征图集合；根据切片特征图集合对切片特征聚合模块进行训练和验证，并输出切片特征向量；使用切片特征向量对MRI分类网络中进行训练和验证。测试时：按上述方法提取测试集的知识性簇的切片特征图集合，将切片特征图集合输入到训练完成的切片特征融合模块和MRI分类网络中得到图像的分类结果。该分类方法的分类准确率高。

Description

基于切片图像筛选和特征聚合的MRI图像分类方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于切片图像筛选和特征聚合的MRI图像分类方法。

背景技术

在过去几十年以来，已有很多基于磁共振成像(magnetic resonance imaging，简称MRI)图像的传统机器学习分类方法的研究。基于传统机器学习的图像分类方法主要包括如下三步：图片预处理、人工设计的特征的提取、特征筛选和基于传统机器学习方法的分类器的设计(例如，支持向量机、逻辑回归等)。然而，这些方法受限于人工设计的特征提取的复杂性及潜在特征丢失的限制。近几年，卷积神经网络(convolutional neural network，简称CNN)由于其出色的特征提取能力被广泛用于图像分类领域。同时也有大量的基于CNN的研究被应用在MRI图像分类问题中。这些研究可以分为两类：基于二维切片图像的CNN分类方法和基于三维图像的CNN分类方法。

现存的大多数研究主要是基于三维图像的CNN分类方法，这些方法使用三维MRI图像作为输入，并设计三维CNN来提取MRI的三维空间信息。这些方法大致可以被分为三类：基于感兴趣区域的分类方法(regions-of-interest，简称ROI)、基于图像块的分类方法、基于全图的分类方法。其中，基于ROI的分类方法使用预定义的三维感兴趣区域进行MRI图像分类。此类方法通过预分割这些区域，并设计不同的CNN从这些区域提取特征并进行MRI图像的分类。但是，这些预定义的区域不能在总体上囊括所有与分类结果相关的区域。为了减少对预定义的分类相关区域的依赖，基于图像块的分类方法将MRI图像分成许多图像块，并根据一种数据驱动的方式选择出其中对分类结果影响较大的图像块。然后，设计不同的CNN对这些图像块进行特征提取，并融合图像块的特征进行MRI图像的分类。但是这些方法仍然存在着在图像块选择时丢失一些分类相关区域，导致分类结果并非最优的问题。为了解决这个问题，基于全图的方法直接从整个MRI图像中提取特征，这些方法不需要先验知识的支撑，通过对前沿的三维CNN进行微调或者设计新的CNN来自动地从一个完整的MRI图像中学习到完整的空间特征，并实现对MRI图像的分类。但是，这些方法没有突出分类相关区域，而对这些区域的突出对于MRI图像分类问题来说是非常重要的。为了缓解这一不足，一些三维CNN方法开发了一系列注意力模型来突出相关区域特征的提取。然而，由于单个图像体积较大，分类相关区域体积较小，有用的MRI图像数据较少，这些模型很容易过拟合。

基于二维切片图像的CNN方法利用从三维图像的三个方向(轴面、矢状面和冠状面)中切换的切片图像作为输入，并设计二维的CNN来提取切片图像的特征，同时整合这些切片特征做出诊断。与基于三维图像的CNN方法相比，基于二维切片图像的CNN方法具有更多的图像数量且图像维度较小，这些优点使得基于二维切片图像的CNN方法较之基于三维图像的CNN方法在MRI图像分类任务上有更好的表现。但是，基于二维切片图像的CNN方法存在一个很大的挑战：每幅切片图像的标签缺失。将MRI图像的标签作为对应切片图像的标签是当前最普遍的方法，然而，此作法会导致众多的有噪音的标签的产生，极大地影响分类的正确率。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种分类准确率高的、基于切片图像筛选和特征聚合的MRI图像分类方法。

本发明解决上述技术问题所采用的技术方案为：一种基于切片图像筛选和特征聚合的MRI图像分类方法，其特征在于：包括以下步骤：

步骤1、获取一定数量的MRI图像及其标签，对全部的MRI图像进行预处理，形成样本集；

步骤2、将样本集分成训练集、验证集和测试集；

步骤3、获取训练集和验证集中每幅MRI图像对应的N张切片图像，并将每幅MRI图像对应的N张切片图像全部转换成缩略图像，之后将每张缩略图像转换成向量，即得到每张切片图像所对应的切片向量；并标记每张切片图像的来源，即来自于训练集还是验证集；另外还将每幅MRI图像的标签作为该幅MRI图像对应的N张切片图像的标签；N为正整数；

步骤4、将训练集和验证集中所有MRI图像对应的切片向量进行聚类，得到k个簇，记为{(I₁,c₁),(I₂,c₂),…(I_i,c_i)…,(I_k,c_k)}；其中，I₁为第1个簇中的所有切片向量集合，c₁为第1个簇的簇心，I₂为第2个簇中的所有切片向量集合，c₂为第2个簇的簇心，I_i为第i个簇中的所有切片向量集合，c_i为第i个簇的簇心，I_k为第k个簇中的所有切片向量集合，c_k为第k个簇的簇心；

步骤5、根据步骤4中每个簇中的切片向量集合，将其所对应的切片图像组成切片图像簇S，S＝{S₁,S₂,…,S_i…,S_k}，S₁为第1个切片图像簇，S₂为第2个切片图像簇，S_i为第i个切片图像簇；S_k为第k个切片图像簇；

步骤6、根据步骤3中标记的每个切片图像的来源，将切片图像簇S分为切片图像训练集ST和切片图像验证集SV，其中，ST＝{ST₁,ST₂…,ST_i…,ST_k}，ST₁为切片图像训练集ST中的第1个切片图像簇，ST₂为切片图像训练集ST中的第2个切片图像簇，ST_i为切片图像训练集ST中的第i个切片图像簇，ST_k为切片图像训练集ST中的第k个切片图像簇；SV＝{SV₁,SV₂,…,SV_i…,SV_k}，SV₁为切片图像验证集SV中的第1个切片图像簇，SV₂为切片图像验证集SV中的第2个切片图像簇，SV_i为切片图像验证集SV中的第i个切片图像簇，SV_k为切片图像验证集SV中的第k个切片图像簇；ST₁+SV₁＝S₁；ST₂+SV₂＝S₂；ST_i+SV_i＝S_i；ST_k+SV_k＝S_k；

步骤7、构建k个切片图像分类模块DCNN₁、DCNN₂、…DCNN_i、…DCNN_k，并对每个切片图像分类模块进行训练和验证，得到k个训练完成的切片图像分类模块；

其中，DCNN₁为第1个切片图像分类模块，DCNN₂为第2个切片图像分类模块，DCNN_i为第i个切片图像分类模块，DCNN_k为第k个切片图像分类模块；每个切片图像分类模块均为深度卷积神经网络，具体的，DCNN₁、DCNN₂、…DCNN_i、…DCNN_k均包括依次相连接的x个第一卷积层、全局平均池化层、第一全连接层和第一分类器，x为正整数；

第i个切片图像分类模块DCNN_i的训练方法为：

多次将ST_i中的多张切片图像输入到第i个切片图像分类模块DCNN_i中进行训练，并通过SV_i中的所有切片图像进行验证，得到训练完成的第i个切片图像分类模块DCNN_i；

依次使i＝1、2、…k，即最终得到与k个切片图像簇一一对应的k个训练完成的切片图像分类模块DCNN_i；

步骤8、将SV_i中的所有切片图像输入到训练完成的第i个切片图像分类模块DCNN_i中，并计算识别准确率，判断识别准确率是否小于设定的阈值T，如是，则该SV_i为噪声簇，同时ST_i也为噪声簇，DCNN_i为噪音分类模块；如否，则该SV_i为知识性簇，同时ST_i也为知识性簇，DCNN_i为知识性分类模块；

依次使i＝1、2、…k，判断出ST和SV中的噪声簇、知识性簇及其切片图像分类模块中的噪音分类模块和知识性分类模块；

步骤9、去除ST和SV中的噪声簇及其切片图像分类模块中的噪音分类模块，分别得到ST和SV中的M个知识性簇以及M个知识性簇一一对应的M个知识性分类模块；其中，M≤k且M为正整数；

步骤10、去除M个知识性分类模块中的全局平均池化层、第一全连接层和第一分类器，即：将只保留x个第一卷积层的知识性分类模块作为知识性切片特征提取模块；得到M个知识性切片特征提取模块；

步骤11、分别将ST和SV中的M个知识性簇输入到对应的知识性切片特征提取模块中，得到ST中每个知识性簇提取出的切片特征图集合G₁,G₂,…,G_j…,G_M以及SV中每个知识性簇提取出的切片特征图集合H₁,H₂,…,H_j…,H_M；

其中，G₁为ST中第1个知识性簇提取出的切片特征图集合，G₂为ST中第2个知识性簇提取出的切片特征图集合，G_j为ST中第j个知识性簇提取出的切片特征图集合，G_M为ST中第M个知识性簇提取出的切片特征图集合，H₁为SV中第1个知识性簇提取出的切片特征图集合，H₂为SV中第2个知识性簇提取出的切片特征图集合，H_j为SV中第j个知识性簇提取出的切片特征图集合，H_M为SV中第M个知识性簇提取出的切片特征图集合；

步骤12、构建M个切片特征聚合模块，并在构建的每个切片特征聚合模块最后依次增加第二全连接层和第二分类器进行训练和验证，得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；然后去除第二分类器，即得到M个训练完成的带有第二全连接层的切片特征聚合模块，并将每个带有第二全连接层的切片特征聚合模块记为切片特征融合模块，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个切片特征融合模块；

其中，构建的每个切片特征聚合模块均包括依次相连接的m个第二卷积层、空间金字塔池化层、特征图最大池化层、n个第三卷积层、全局平均池化层和第一向量连接层；m和n均为正整数；

上述带有第二全连接层和第二分类器的第j个切片特征聚合模块训练过程为：

在训练集中选择X幅MRI图像，X为正整数；并在G_j中取出这X幅MRI图像的所有切片特征图，将取出的X幅MRI图像的所有切片特征图输入到带有第二全连接层和第二分类器的第j个切片特征聚合模块中进行训练，并按照上述训练方法进行多次训练，最后通过H_j中所有MRI图像的切片特征图进行验证，得到训练完成的带有第二全连接层和第二分类器的第j个切片特征聚合模块；

依次使j＝1、2、…M，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；

步骤13、在G₁,G₂,…,G_j…,G_M以及H₁,H₂,…,H_j…,H_M中取出每幅MRI图像的所有切片特征图，并将每幅MRI图像中属于不同知识性簇的所有切片特征图一一输入到对应的切片特征融合模块中，得到每幅MRI图像在所有知识性簇上的M个切片特征向量；

步骤14、构建MRI分类网络并对MRI分类网络进行训练和验证，得到训练完成的MRI分类网络；其中，MRI分类网络包括依次相连接的第二向量连接层、d个第三全连接层和第三分类器，其中d为正整数；

MRI分类网络的训练方法为：

在训练时，在训练集中选择Y幅MRI图像，Y为正整数，将每幅MRI图像的M个切片特征向量输入到MRI分类网络中进行训练；然后按照上述相同的方法进行多次训练，最后验证集中所有MRI图像的M个切片特征向量进行验证，即得到训练完成的MRI分类网络；

步骤15、将测试集中的其中一幅MRI图像按照步骤3中相同的方式得到该幅MRI图像中每张切片图像所对应的切片向量，并根据以下方法判断出每张切片图像所属的簇，具体方法为：分别计算一张切片图像所对应的切片向量与步骤4中k个簇的簇心之间的距离，并将最小距离所对应的簇作为该张切片图像所属的簇；之后保留属于知识性簇中的切片图像，然后将每张属于知识性簇中的切片图像分别输入到对应的知识性切片特征提取模块中，得到每张切片图像所对应的特征图；最后，将M个知识性特征图集合输入到对应的切片特征融合模块中得到M个切片特征向量，并将M个切片特征向量输入到训练完成的MRI分类网络中，即得到该幅MRI图像的分类结果。

优选的，所述步骤4中使用的聚类方法为：k-Means聚类方法。

与现有技术相比，本发明的优点在于：首先通过将研究对象由三维的MRI图像切换至二维的切片图像，解决了目前MRI图像数量不足和MRI图像体积较大但分类相关区域较小的问题；其次通过聚类方法与切片特征提取模块相结合实现对分类准确率的排查，去除了二维切片图像中噪声标签的影响，提高了分类的精度；最后通过切片特征聚合模块融合同一簇中的切片图像的同质性特征，然后通过切片特征融合模块融合不同簇间的切片图像的异质性特征，充分考虑不同组织的同质性和异质性，提高了算法精度；因此本方法中的分类准确率高。

附图说明

图1为本发明实施例中MRI图像分类方法的总框架；

图2为图1中的切片特征提取模块的具体原理图；

图3为图1中切片特征聚合模块的具体原理图；

图4为图1中的MRI分类网络的具体原理框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1～4所示，一种基于切片图像筛选和特征聚合的MRI图像分类方法包括以下步骤：

步骤1、获取一定数量的MRI图像及其标签，对全部的MRI图像进行预处理，形成样本集；

本实施例中，预处理包括对图像进行线性配准、去除噪声以及统一图像分辨率等降低后续图像处理的复杂度以及提高图像识别准确率的处理；MRI图像的标签为人工对图像判断出的结果；

步骤2、将样本集分成训练集、验证集和测试集；本实施例中，训练集、验证集和测试集按照7:2:1的比例划分，训练集用于训练网络，即调整网络参数；验证集用于选择最优的网络参数；测试集用于检验最优网络的泛化能力；

步骤3、获取训练集和验证集中每幅MRI图像对应的N张切片图像，并将每幅MRI图像对应的N张切片图像全部转换成缩略图像，之后将每张缩略图像转换成向量，即得到每张切片图像所对应的切片向量；并标记每张切片图像的来源，即来自于训练集还是验证集；另外还将每幅MRI图像的标签作为该幅MRI图像对应的N张切片图像的标签；N为正整数；

其中，对于每幅MRI图像均可沿其横断面获取切片图像，本实施例中，N＝128，将每张切片图像转换成缩小十倍的缩略图像，同时，每张缩略图像按照行的方向首尾相连，得到切片向量；

步骤4、将训练集和验证集中所有MRI图像对应的切片向量进行聚类，得到k个簇，记为{(I₁,c₁),(I₂,c₂),…(I_i,c_i)…,(I_k,c_k)}；其中，I₁为第1个簇中的所有切片向量集合，c₁为第1个簇的簇心，I₂为第2个簇中的所有切片向量集合，c₂为第2个簇的簇心，I_i为第i个簇中的所有切片向量集合，c_i为第i个簇的簇心，I_k为第k个簇中的所有切片向量集合，c_k为第k个簇的簇心；

本实施例中，k＝9；另外使用k-Means聚类方法对所有切片向量进行聚类；

步骤5、根据步骤4中每个簇中的切片向量集合，将其所对应的切片图像组成切片图像簇S，S＝{S₁,S₂,…,S_i…,S_k}，S₁为第1个切片图像簇，S₂为第2个切片图像簇，S_i为第i个切片图像簇；S_k为第k个切片图像簇；

步骤6、根据步骤3中标记的每个切片图像的来源，将切片图像簇S分为切片图像训练集ST和切片图像验证集SV，其中，ST＝{ST₁,ST₂…,ST_i…,ST_k}，ST₁为切片图像训练集ST中的第1个切片图像簇，ST₂为切片图像训练集ST中的第2个切片图像簇，ST_i为切片图像训练集ST中的第i个切片图像簇，ST_k为切片图像训练集ST中的第k个切片图像簇；SV＝{SV₁,SV₂,…,SV_i…,SV_k}，SV₁为切片图像验证集SV中的第1个切片图像簇，SV₂为切片图像验证集SV中的第2个切片图像簇，SV_i为切片图像验证集SV中的第i个切片图像簇，SV_k为切片图像验证集SV中的第k个切片图像簇；ST₁+SV₁＝S₁；ST₂+SV₂＝S₂；ST_i+SV_i＝S_i；ST_k+SV_k＝S_k；

步骤7、构建k个切片图像分类模块DCNN₁、DCNN₂、…DCNN_i、…DCNN_k，并对每个切片图像分类模块进行训练和验证，得到k个训练完成的切片图像分类模块；

其中，DCNN₁为第1个切片图像分类模块，DCNN₂为第2个切片图像分类模块，DCNN_i为第i个切片图像分类模块，DCNN_k为第k个切片图像分类模块；每个切片图像分类模块均为深度卷积神经网络，具体的，DCNN₁、DCNN₂、…DCNN_i、…DCNN_k均包括依次相连接的x个第一卷积层、全局平均池化层、第一全连接层和第一分类器；x为正整数；

第i个切片图像分类模块DCNN_i的训练方法为：

多次将ST_i中的多张切片图像输入到第i个切片图像分类模块DCNN_i中进行训练，并通过SV_i中的所有切片图像进行验证，得到训练完成的第i个切片图像分类模块DCNN_i；

依次使i＝1、2、…k，即最终得到与k个切片图像簇一一对应的k个训练完成的切片图像分类模块DCNN_i；

DCNN_i的具体训练过程为：

步骤7-1、构建第i个切片图像分类模块DCNN_i，并初始化该深度卷积神经网络DCNN_i中的网络参数；

步骤7-2、在ST_i中任意选择Q1张切片图像(Q1为正整数)，并将选取的Q1张切片图像依次输入到初始化的DCNN_i中，即得到每张切片图像的分类结果；

步骤7-3、根据每张切片图像的分类结果与每张切片图像的标签计算总损失函数L，并根据总损失函数L反向更新DCNN_i中的网络参数，得到一次更新后的DCNN_i；

其中，总损失函数L是通过交叉熵损失来实现的：

其中，ST_i,a表示ST_i中被选中的第a张切片图像，y是ST_i,a的真实标签，该标签为ST_i,a所属的MRI图像的标签，根据步骤3中可以直接得到；c表示ST_i,a被预测为y的概率；

步骤7-4、依次从ST_i中选择其他的Q1张切片图像，将选中的切片图像重复步骤7-2和步骤7-3，不断更新DCNN_i中的参数，得到多次训练后的DCNN_i；

步骤7-5、将SV_i中的所有切片图像送入多次训练完成后DCNN_i中，并将识别准确率最大时对应的DCNN_i作为具有最优网络参数的DCNN_i；

步骤8、将SV_i中的所有切片图像输入到训练完成的第i个切片图像分类模块DCNN_i中，并计算识别准确率，判断识别准确率是否小于设定的阈值T，如是，则该SV_i为噪声簇，同时ST_i也为噪声簇，DCNN_i为噪音分类模块；如否，则该SV_i为知识性簇，同时ST_i也为知识性簇，DCNN_i为知识性分类模块；其中，知识性簇的英文为：informative clusters，该知识性簇能最能表征图像特征的簇，意思跟非噪声簇差不多，但比非噪声更加准确能表达本发明中相表达含义；

依次使i＝1、2、…k，判断出ST和SV中的噪声簇、知识性簇及其切片图像分类模块中的噪音分类模块和知识性分类模块；上述设定的阈值T根据实际识别情况确定，本实施例中，设定的阈值T＝70％；

步骤9、去除ST和SV中的噪声簇及其切片图像分类模块中的噪音分类模块，分别得到ST和SV中的M个知识性簇以及M个知识性簇一一对应的M个知识性分类模块；其中，M≤k且M为正整数；

步骤10、去除M个知识性分类模块中的全局平均池化层、第一全连接层和第一分类器，即：将只保留x个第一卷积层的知识性分类模块作为知识性切片特征提取模块；得到M个知识性切片特征提取模块；

步骤11、分别将ST和SV中的M个知识性簇输入到对应的知识性切片特征提取模块中，得到ST中每个知识性簇提取出的切片特征图集合G₁,G₂,…,G_j…,G_M以及SV中每个知识性簇提取出的切片特征图集合H₁,H₂,…,H_j…,H_M；

其中，G₁为ST中第1个知识性簇提取出的切片特征图集合，G₂为ST中第2个知识性簇提取出的切片特征图集合，G_j为ST中第j个知识性簇提取出的切片特征图集合，G_M为ST中第M个知识性簇提取出的切片特征图集合，H₁为SV中第1个知识性簇提取出的切片特征图集合，H₂为SV中第2个知识性簇提取出的切片特征图集合，H_j为SV中第j个知识性簇提取出的切片特征图集合，H_M为SV中第M个知识性簇提取出的切片特征图集合；

步骤12、构建M个切片特征聚合模块，并在构建的每个切片特征聚合模块最后依次增加第二全连接层和第二分类器进行训练和验证，得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；然后去除第二分类器，即得到M个训练完成的带有第二全连接层的切片特征聚合模块，并将每个带有第二全连接层的切片特征聚合模块记为切片特征融合模块，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个切片特征融合模块；

构建的每个切片特征聚合模块均包括依次相连接的m个第二卷积层、空间金字塔池化层、特征图最大池化层、n个第三卷积层、全局平均池化层和和第一向量连接层；m和n均为正整数；其中，空间金字塔池化层是将m个卷积层的输出结果分别进行多次不同的池化；特征图最大池化层和全局平局池化层的个数均与空间金字塔池化层的池化次数相同，另外，第一向量连接层的作用是将每个全局平均池化层得到的向量依次首尾相连；上述带有第二全连接层和第二分类器的切片特征聚合模块训练时的损失计算方法也采用与切片图像分类模块相同的方法，具体可参考切片图像分类模块的训练方法；

另外，空间金字塔池化层用于提取多尺度图像特征；特征图最大池化层用于融合不同尺度的图像特征，同时此层解决了输入特征图数量的可变性；全局平均池化层用于融合有判别力的特征；从而使一张切片特征图输入到带有全连接层的切片特征聚合模块中得到Ms个长度为q的特征向量，多张切片特征图输入到带有全连接层的切片特征聚合模块中也得到Ms个长度为q的特征向量，即带有全连接层的切片特征聚合模块的输入为可变数量，输出均为一个大小固定的向量，其特性是由切片特征聚合模块中的具体结构决定的，目的是为了能实现后续MRI图像分类。

上述带有第二全连接层和第二分类器的第j个切片特征聚合模块训练过程为：

在训练集中选择X幅MRI图像，X为正整数；并在G_j中取出这X幅MRI图像的所有切片特征图，将取出的X幅MRI图像的所有切片特征图输入到带有第二全连接层和第二分类器的第j个切片特征聚合模块中进行训练，并按照上述训练方法进行多次训练，最后通过H_j中所有MRI图像的切片特征图进行验证，得到训练完成的带有第二全连接层和第二分类器的第j个切片特征聚合模块；

依次使j＝1、2、…M，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；

步骤13、在G₁,G₂,…,G_j…,G_M以及H₁,H₂,…,H_j…,H_M中取出每幅MRI图像的所有切片特征图，并将每幅MRI图像中属于不同知识性簇的所有切片特征图一一输入到对应的切片特征融合模块中，得到每幅MRI图像在所有知识性簇上的M个切片特征向量；如图4所示，将一幅MRI图像的M个切片特征向量分别记为F₁、F₂、…F_M，其中，F₁为该幅MRI图像中属于第1个知识性簇的所有切片特征图输入到第1个切片特征融合模块中得到的切片特征向量，F₂为该幅MRI图像中属于第2个知识性簇的所有切片特征图输入到第2个切片特征融合模块中得到的切片特征向量，F_M为该幅MRI图像中属于第M个知识性簇的所有切片特征图输入到第M个切片特征融合模块中得到的切片特征向量；

步骤14、构建MRI分类网络并对MRI分类网络进行训练和验证，得到训练完成的MRI分类网络；其中，MRI分类网络包括依次相连接的第二向量连接层、d个第三全连接层和第三分类器，其中d为正整数；第二向量连接层是将每幅MRI图像的M个切片特征向量按照知识性簇顺序得到的向量进行首尾相连；

MRI分类网络的训练方法为：

在训练时，在训练集中选择Y幅MRI图像，Y为正整数，将每幅MRI图像的M个切片特征向量输入到MRI分类网络中进行训练；然后按照上述相同的方法进行多次训练，最后验证集中所有MRI图像的M个切片特征向量进行验证，即得到训练完成的MRI分类网络；

步骤15、将测试集中的其中一幅MRI图像按照步骤3中相同的方式得到该幅MRI图像中每张切片图像所对应的切片向量，并根据以下方法判断出每张切片图像所属的簇，具体方法为：分别计算一张切片图像所对应的切片向量与步骤4中k个簇的簇心之间的距离，并将最小距离所对应的簇作为该张切片图像所属的簇；之后保留属于知识性簇中的切片图像，然后将每张属于知识性簇中的切片图像分别输入到对应的知识性切片特征提取模块中，得到每张切片图像所对应的特征图；最后，将M个知识性特征图集合输入到对应的切片特征融合模块中得到M个切片特征向量，并将M个切片特征向量输入到训练完成的MRI分类网络中，即得到该幅MRI图像的分类结果。

上述的第一、第二和第三的描述均是为了起到区分作用，并未有其他含义；另外上述每个网络均是根据实际处理过程确定出的最优网络结构，同时上述网络结构也可进行微调，调整的结构为本领域技术人员使用神经网络中常有的处理；例如在卷积层中先通过卷积块卷积之后再增加激活函数或归一化等操作，以防止网络过拟合；但是具体如何调整是根据实际识别情况而定的，实现上述相同目的的网络结构也属于本发明保护的范围。

为了能更好的说明本发明提出的MRI图像分类方法的作用，本实施例中将该方法应用于判断某一幅MRI图像中是否包含患阿尔茨海默病的图像特征，本实施例中步骤1中预处理的具体步骤为：

步骤1-1)、使用FMRIB Software Library 5.0软件去除脑部MRI图像数据的头颅骨和硬脑膜部分；

步骤1-2)、使用FMRIB Software Library 5.0软件对图像进行线性配准，将所有图像的空间体素大小被改为1*1*1mm³，并使图像和标准模板对齐；

步骤1-3)、根据大脑的外接立方体，去除多余的背景；

步骤1-4)、由于人脑大小因人而异，所以得到的图像大小不一，为了保持图像不发生形变，通过三线性插值补充图像直到图像的最长边为128；

步骤1-5)、使用在图像边缘填充零值的方式，将所有图像分辨率大小统一为128*128*128；

步骤2中每幅MRI图像对应有128张切片图像，步骤4中根据k-Means聚类方法对所有的切片向量进行聚合，得到9个簇，另外如图3所示，步骤12中构建的切片特征聚合模块包括依次相连接的2个卷积层、空间金字塔池化层、一维全局特征图最大池化层、1个卷积层、二维全局平均池化层和向量连接层，具体参数如表1所示，另外，如图4所示，MRI分类网络包括依次相连接的向量连接层、4个全连接层和分类器。

表1切片特征聚合模块网络结构

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于切片图像筛选和特征聚合的MRI图像分类方法，其特征在于：包括以下步骤：

步骤1、获取一定数量的MRI图像及其标签，对全部的MRI图像进行预处理，形成样本集；

步骤2、将样本集分成训练集、验证集和测试集；

步骤3、获取训练集和验证集中每幅MRI图像对应的N张切片图像，并将每幅MRI图像对应的N张切片图像全部转换成缩略图像，之后将每张缩略图像转换成向量，即得到每张切片图像所对应的切片向量；并标记每张切片图像的来源，即来自于训练集还是验证集；另外还将每幅MRI图像的标签作为该幅MRI图像对应的N张切片图像的标签；N为正整数；

步骤4、将训练集和验证集中所有MRI图像对应的切片向量进行聚类，得到k个簇，记为{(I₁,c₁),(I₂,c₂),…(I_i,c_i)…,(I_k,c_k)}；其中，I₁为第1个簇中的所有切片向量集合，c₁为第1个簇的簇心，I₂为第2个簇中的所有切片向量集合，c₂为第2个簇的簇心，I_i为第i个簇中的所有切片向量集合，c_i为第i个簇的簇心，I_k为第k个簇中的所有切片向量集合，c_k为第k个簇的簇心；

步骤5、根据步骤4中每个簇中的切片向量集合，将其所对应的切片图像组成切片图像簇S，S＝{S₁,S₂,…,S_i…,S_k}，S₁为第1个切片图像簇，S₂为第2个切片图像簇，S_i为第i个切片图像簇；S_k为第k个切片图像簇；

步骤6、根据步骤3中标记的每个切片图像的来源，将切片图像簇S分为切片图像训练集ST和切片图像验证集SV，其中，ST＝{ST₁,ST₂…,ST_i…,ST_k}，ST₁为切片图像训练集ST中的第1个切片图像簇，ST₂为切片图像训练集ST中的第2个切片图像簇，ST_i为切片图像训练集ST中的第i个切片图像簇，ST_k为切片图像训练集ST中的第k个切片图像簇；SV＝{SV₁,SV₂,…,SV_i…,SV_k}，SV₁为切片图像验证集SV中的第1个切片图像簇，SV₂为切片图像验证集SV中的第2个切片图像簇，SV_i为切片图像验证集SV中的第i个切片图像簇，SV_k为切片图像验证集SV中的第k个切片图像簇；ST₁+SV₁＝S₁；ST₂+SV₂＝S₂；ST_i+SV_i＝S_i；ST_k+SV_k＝S_k；

步骤7、构建k个切片图像分类模块DCNN₁、DCNN₂、…DCNN_i、…DCNN_k，并对每个切片图像分类模块进行训练和验证，得到k个训练完成的切片图像分类模块；

其中，DCNN₁为第1个切片图像分类模块，DCNN₂为第2个切片图像分类模块，DCNN_i为第i个切片图像分类模块，DCNN_k为第k个切片图像分类模块；每个切片图像分类模块均为深度卷积神经网络，具体的，DCNN₁、DCNN₂、…DCNN_i、…DCNN_k均包括依次相连接的x个第一卷积层、全局平均池化层、第一全连接层和第一分类器；x为正整数；

第i个切片图像分类模块DCNN_i的训练方法为：

多次将ST_i中的多张切片图像输入到第i个切片图像分类模块DCNN_i中进行训练，并通过SV_i中的所有切片图像进行验证，得到训练完成的第i个切片图像分类模块DCNN_i；

依次使i＝1、2、…k，即最终得到与k个切片图像簇一一对应的k个训练完成的切片图像分类模块DCNN_i；

步骤8、将SV_i中的所有切片图像输入到训练完成的第i个切片图像分类模块DCNN_i中，并计算识别准确率，判断识别准确率是否小于设定的阈值T，如是，则该SV_i为噪声簇，同时ST_i也为噪声簇，DCNN_i为噪音分类模块；如否，则该SV_i为知识性簇，同时ST_i也为知识性簇，DCNN_i为知识性分类模块；

依次使i＝1、2、…k，判断出ST和SV中的噪声簇、知识性簇及其切片图像分类模块中的噪音分类模块和知识性分类模块；

步骤9、去除ST和SV中的噪声簇及其切片图像分类模块中的噪音分类模块，分别得到ST和SV中的M个知识性簇以及M个知识性簇一一对应的M个知识性分类模块；其中，M≤k且M为正整数；

步骤10、去除M个知识性分类模块中的全局平均池化层、第一全连接层和第一分类器，即：将只保留x个第一卷积层的知识性分类模块作为知识性切片特征提取模块；得到M个知识性切片特征提取模块；

步骤11、分别将ST和SV中的M个知识性簇输入到对应的知识性切片特征提取模块中，得到ST中每个知识性簇提取出的切片特征图集合G₁,G₂,…,G_j…,G_M以及SV中每个知识性簇提取出的切片特征图集合H₁,H₂,…,H_j…,H_M；

其中，G₁为ST中第1个知识性簇提取出的切片特征图集合，G₂为ST中第2个知识性簇提取出的切片特征图集合，G_j为ST中第j个知识性簇提取出的切片特征图集合，G_M为ST中第M个知识性簇提取出的切片特征图集合，H₁为SV中第1个知识性簇提取出的切片特征图集合，H₂为SV中第2个知识性簇提取出的切片特征图集合，H_j为SV中第j个知识性簇提取出的切片特征图集合，H_M为SV中第M个知识性簇提取出的切片特征图集合；

步骤12、构建M个切片特征聚合模块，并在构建的每个切片特征聚合模块最后依次增加第二全连接层和第二分类器进行训练和验证，得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；然后去除第二分类器，即得到M个训练完成的带有第二全连接层的切片特征聚合模块，并将每个带有第二全连接层的切片特征聚合模块记为切片特征融合模块，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个切片特征融合模块；

其中，构建的每个切片特征聚合模块均包括依次相连接的m个第二卷积层、空间金字塔池化层、特征图最大池化层、n个第三卷积层、全局平均池化层和第一向量连接层；m和n均为正整数；

上述带有第二全连接层和第二分类器的第j个切片特征聚合模块训练过程为：

在训练集中选择X幅MRI图像，X为正整数；并在G_j中取出这X幅MRI图像的所有切片特征图，将取出的X幅MRI图像的所有切片特征图输入到带有第二全连接层和第二分类器的第j个切片特征聚合模块中进行训练，并按照上述训练方法进行多次训练，最后通过H_j中所有MRI图像的切片特征图进行验证，得到训练完成的带有第二全连接层和第二分类器的第j个切片特征聚合模块；

依次使j＝1、2、…M，即得到与M个知识性簇提取出的切片特征图集合一一对应的M个训练完成的带有第二全连接层和第二分类器的切片特征聚合模块；

步骤13、在G₁,G₂,…,G_j…,G_M以及H₁,H₂,…,H_j…,H_M中取出每幅MRI图像的所有切片特征图，并将每幅MRI图像中属于不同知识性簇的所有切片特征图一一输入到对应的切片特征融合模块中，得到每幅MRI图像在所有知识性簇上的M个切片特征向量；

步骤14、构建MRI分类网络并对MRI分类网络进行训练和验证，得到训练完成的MRI分类网络；其中，MRI分类网络包括依次相连接的第二向量连接层、多个第三全连接层和第三分类器；

MRI分类网络的训练方法为：

在训练时，在训练集中选择Y幅MRI图像，Y为正整数，将每幅MRI图像的M个切片特征向量输入到MRI分类网络中进行训练；然后按照上述相同的方法进行多次训练，最后验证集中所有MRI图像的M个切片特征向量进行验证，即得到训练完成的MRI分类网络；

步骤15、将测试集中的其中一幅MRI图像按照步骤3中相同的方式得到该幅MRI图像中每张切片图像所对应的切片向量，并根据以下方法判断出每张切片图像所属的簇，具体方法为：分别计算一张切片图像所对应的切片向量与步骤4中k个簇的簇心之间的距离，并将最小距离所对应的簇作为该张切片图像所属的簇；之后保留属于知识性簇中的切片图像，然后将每张属于知识性簇中的切片图像分别输入到对应的知识性切片特征提取模块中，得到每张切片图像所对应的特征图；最后，将M个知识性特征图集合输入到对应的切片特征融合模块中得到M个切片特征向量，并将M个切片特征向量输入到训练完成的MRI分类网络中，即得到该幅MRI图像的分类结果。

2.根据权利要求1所述的基于切片图像筛选和特征聚合的MRI图像分类方法，其特征在于：所述步骤4中使用的聚类方法为：k-Means聚类方法。

Images