CN113951834A - 基于视觉Transformer算法的阿尔兹海默症分类预测方法 - Google Patents

Abstract

本发明提供了一种基于视觉Transformer算法的阿尔兹海默症分类预测方法，包括：步骤1，获取多张阿尔兹海默症患者的核磁共振成像的图像样本，对多张图像样本进行数据预处理；步骤2，将预处理后的多张图像样本进行图像尺寸调整，得到多张尺寸调整后的图像样本；步骤3，将多张尺寸调整后的图像样本进行切块处理，得到多个小立方体；步骤4，将多个小立方体进行线性映射，得到多个一维向量；步骤5，对每一个一维向量进行位置信息添加。本发明所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，数据获取简单方便，避免了手动提取特征带来的主观性，克服了基于CNN的方法的区域性和平移不变性等缺点。

Description

基于视觉Transformer算法的阿尔兹海默症分类预测方法

技术领域

本发明涉及智能医疗技术领域，特别涉及一种基于视觉Transformer算法的阿尔兹海默症分类预测方法。

背景技术

阿尔茨海默症(Alzheimer’s disease,AD)是一种起病隐匿、进行性发展的神经系统退行性疾病。AD的潜伏期较长，其临床症状会随着时间的推移而慢慢恶化，包括记忆缺失、认知障碍、痴呆等，阿尔茨海默症作为一种隐匿的慢性疾病，会直接影响患者和家人的正常生活，对社会的危害极大。目前，该症的病因还未明确，虽然一些研究表明导致阿尔茨海默症的因素主要有基因遗传、免疫和神经递质等因素，但是还没有科学技术手段可以完全治愈该病。因此，阿尔茨海默症的早期诊断和预测是控制该病的关键手段。

现有的阿尔茨海默症的诊断方法包括神经心理学评估、神经影像学检查、生物学标志物检测等，其中最为广泛应用的是神经影像技术，其可以提供丰富的脑功能信息，有利于研究人员从各个方面分析患者的病情，以便做出准确预测。磁共振成像(MagneticResonance Imaging,MRI)是神经影像技术常用的成像技术，其因为价格低、无创、分辨率高等优点成为AD诊断中最常用的技术手段。

近年来，一些研究人员使用机器学习的方法来分析MRI图像，申请号为CN201910047517.9的中国专利申请公开了一种基于SVM-RFE-MRMR算法的阿兹海默症MRI图像分类方法，其技术方案采用VBM方法确定MRI图像中的病灶区，计算病灶区的灰质体积作为形态学特征，提取包括灰度共生矩阵和灰度-梯度共生矩阵的纹理特征，并且将形态学特征和纹理特征组合，使用SVM-RFE-MRMR算法对组合的特征进行选择，对选择后组合特征使用SVM-RFE算法进行特征排序，排序后采用径向核函数的SVM算法对特征进行分类。缺点：需要手动提取图像中病理区域并计算特征，带有一定的主观性并且要求研究人员掌握一定的病理知识。

以深度学习为代表的人工智能技术在医疗领域的快速发展，推动了AD诊断的发展进程，申请号为CN201910322584.7的中国专利申请公开了一种基于双向LSTM的阿尔茨海默症病情发展预测系统，其技术方案利用神经心理学数据，将时间属性应用到模型上，建立基于深度学习的双向LSTM和Attention机制的融合分类预测模型。缺点：(1)数据是通过受试者不同时间段的评估量表上获取，在临床诊断中有一系列量表用于阿尔兹海默症诊断分析，若诊断评估的量表选取不合理，可能会导致对结果的误判；(2)在实际中，患者多为老年人，对其做多次量表评估测试，不仅工作量增大而且评估结果带有一定的主观性。

发明内容

本发明提供了一种基于视觉Transformer算法的阿尔兹海默症分类预测方法，其目的是为了解决传统的预测方法不能检测到图像部分区域和整体之间的长序列空间相关性，不能动态地适应输入图像的尺寸变化，容易丢失特征信息的问题。

为了达到上述目的，本发明的实施例提供了一种基于视觉Transformer算法的阿尔兹海默症分类预测方法，包括：

步骤1，获取多张阿尔兹海默症患者的核磁共振成像的图像样本，对多张图像样本进行数据预处理；

步骤2，将预处理后的多张图像样本进行图像尺寸调整，得到多张尺寸调整后的图像样本；

步骤3，将多张尺寸调整后的图像样本进行切块处理，得到多个小立方体；

步骤4，将多个小立方体进行线性映射，得到多个一维向量；

步骤5，对每一个一维向量进行位置信息添加；

步骤6，将位置信息添加后的多个一维向量输入Transformer encoder网络进行特征提取，Transformer encoder网络输出d维向量，将d维向量输入MLP模块，得到分类预测结果。

其中，所述步骤1具体包括：

步骤11，将多张所述图像样本进行AC-PC矫正，得到多张标准的图像样本；

步骤12，将多张标准的图像样本中的非脑结构进行剥离，得到多张非脑结构剥离后的图像样本；

步骤13，通过cat12工具箱的图像分割算法分别将多张非脑结构剥离后的图像样本中的结构性数据分割成灰质、白质和脑脊液三种结构，得到多张分割后的图像样本；

步骤14，将多张分割后的图像样本通过序列线性变换配准到标准脑模板空间MNI，统一全部图像样本的坐标空间；

步骤15，将多张图像样本中的灰质图像切片为2mm×2mm×2mm的立方体积图像，得到多张体积尺寸为91mm×109mm×91mm的图像样本。

其中，所述步骤2具体包括：

步骤21，对多张体积尺寸为91mm×109mm×91mm的图像样本的周围使用0进行填充，重新调整每张图像样本的尺寸为112mm×112mm×112mm。

其中，所述步骤3具体包括：

步骤31，设定步长为S，以S为步长按顺序分别将每张尺寸为112mm×112mm×112mm的图像样本切割成N个14mm×14mm×14mm的小立方体。

其中，所述步骤4具体包括：

步骤41，设定Transformer encoder网络中所有网络层上使用恒定的D维向量，通过线性映射，将N个14mm×14mm×14mm的小立方体映射为D个14mm×14mm×14mm的一维向量。

其中，所述步骤5具体包括：

步骤51，通过一维位置编码给每一个14mm×14mm×14mm的一维向量添加位置信息，如下所示：

PE_(pos,2i)＝sin(pos/10000^2i/d) (1)

PE_(pos,2i+1)＝cos(pos/10000^2i/d) (2)

其中，PE表示位置编码，pos表示一维向量在整张图像样本的位置，d表示PE维度，i表示第i个维度，i＝1,2,3,...,d。

其中，所述步骤6具体包括：

步骤61，将添加位置信息后的D个14mm×14mm×14mm的一维向量输入标准的Transformer encoder网络进行特征提取，其中，Transformer encoder网络由M个相同层组成堆栈，每一层使用残差连接多头注意力机制网络和全连接层，Transformer encoder网络输出d维向量；

步骤62，将d维向量输入到由两层全连接层和非线性激活函数构成的MLP模块，得到分类预测结果。

本发明的上述方案有如下的有益效果：

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，数据获取简单方便，经过简单的数据预测预处理即可输入网络，避免了手动提取特征带来的主观性，使用基于视觉Transformer算法，该算法使用自我注意力机制，可以整合全局信息，确定感兴趣区域，使得网络可以捕获数据中的重要特征，忽略次要特征，进而准确的预测图像中物体类别。网络中不包含任何卷积和池化操作，克服了基于CNN的方法的区域性和平移不变性等缺点，避免池化带来的信息损失。本发明在没有预训练的条件下，仍能在公共数据集ADNI上达到与目前的技术水平相当的结果。

附图说明

图1为本发明的流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的预测方法不能检测到图像部分区域和整体之间的长序列空间相关性，不能动态地适应输入图像的尺寸变化，容易丢失特征信息的问题，提供了一种基于视觉Transformer算法的阿尔兹海默症分类预测方法。

如图1所示，本发明的实施例提供了一种基于视觉Transformer算法的阿尔兹海默症分类预测方法，包括：步骤1，获取多张阿尔兹海默症患者的核磁共振成像的图像样本，对多张图像样本进行数据预处理；步骤2，将预处理后的多张图像样本进行图像尺寸调整，得到多张尺寸调整后的图像样本；步骤3，将多张尺寸调整后的图像样本进行切块处理，得到多个小立方体；步骤4，将多个小立方体进行线性映射，得到多个一维向量；步骤5，对每一个一维向量进行位置信息添加；步骤6，将位置信息添加后的多个一维向量输入Transformerencoder网络进行特征提取，Transformer encoder网络输出d维向量，将d维向量输入MLP模块，得到分类预测结果。

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，从ADNI官网的ADNI数据集中获取1132张磁共振成像(MRI)，其中，有454张检测为患有阿尔兹海默症(AD)图片，有678张检测为正常(NC)图片。

其中，所述步骤1具体包括：步骤11，将多张所述图像样本进行AC-PC矫正，得到多张标准的图像样本；步骤12，将多张标准的图像样本中的非脑结构进行剥离，得到多张非脑结构剥离后的图像样本；步骤13，通过cat12工具箱的图像分割算法分别将多张非脑结构剥离后的图像样本中的结构性数据分割成灰质、白质和脑脊液三种结构，得到多张分割后的图像样本；步骤14，将多张分割后的图像样本通过序列线性变换配准到标准脑模板空间MNI，统一全部图像样本的坐标空间；步骤15，将多张图像样本中的灰质图像切片为2mm×2mm×2mm的立方体积图像，得到多张体积尺寸为91mm×109mm×91mm的图像样本。

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，AC-PC:为前连合(anterior commissure,AC)后缘中点至后连合(posteriorcommissure,PC)前缘中点的连线，又称AC-PC线，立体定向脑图谱是以前连合与后连合的连线(AC-PC)为基准的，研究表明不同人脑的AC-PC没有显著性差异，因此以AC-PC中点为原点建立三维坐标系，在三维空间中获得的不同人脑的数据，MRI的原始图像中包含着如头骨等一些非脑结构，为避免增加运算量，也避免影响后续预处理，进而影响实验结果，需要将图像中的头骨等非脑结构剥离出来。

其中，所述步骤2具体包括：步骤21，对多张体积尺寸为91mm×109mm×91mm的图像样本的周围使用0进行填充，重新调整每张图像样本的尺寸为112mm×112mm×112mm。

其中，所述步骤3具体包括：步骤31，设定步长为S，以S为步长按顺序分别将每张尺寸为112mm×112mm×112mm的图像样本切割成N个14mm×14mm×14mm的小立方体。

其中，所述步骤4具体包括：步骤41，设定Transformer encoder网络中所有网络层上使用恒定的D维向量，通过线性映射，将N个14mm×14mm×14mm的小立方体映射为D个14mm×14mm×14mm的一维向量。

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，为了适应Transformer encoder网络的输入，在图像周围使用0进行填充，重新调整图像尺寸为112x 112x 112x C(C为通道数)，随后以S为步长按顺序将每张图像样本切割成N个Px Px Px C小立方体，并将这些小立方体拉平为P³*C的一维向量，由于N是小立方体的数量，会影响输入序列的长度，设定在Transformer encoder网络中所有网络层上使用恒定的D维向量，通过线性映射，将N个P³*C的一维向量映射为D个P³*C的一维向量，通过线性映射防止了小立方体之间的位置信息丢失。

其中，所述步骤5具体包括：步骤51，通过一维位置编码给每一个14mm×14mm×14mm的一维向量添加位置信息，如下所示：

PE_(pos,2i)＝sin(pos/10000^2i/d) (1)

PE_(pos,2i+1)＝cos(pos/10000^2i/d) (2)

其中，PE表示位置编码，pos表示一维向量在整张图像样本的位置，d表示PE维度，i表示第i个维度，i＝1,2,3,...,d。

其中，所述步骤6具体包括：步骤61，将添加位置信息后的D个14mm×14mm×14mm的一维向量输入标准的Transformer encoder网络进行特征提取，其中，Transformerencoder网络由M个相同层组成堆栈，每一层使用残差连接多头注意力机制网络和全连接层，Transformer encoder网络输出d维向量；

步骤62，将d维向量输入到由两层全连接层和非线性激活函数构成的MLP模块，得到分类预测结果。

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，Transformer encoder网络由M个多头自我注意力机制和全连接前馈神经网络构成，MLP模块由两层全连接层和非线性激活函数构成。

本发明的上述实施例所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，对于ADNI数据集来说，由于数据集中同一个人有多张检测图片，为了避免数据泄露，故在划分数据集时需要将同一个人的多张检测图片放在同一个数据集里，遵循上述原则将1132张磁共振成像图片划分成十份数据，每次训练取其中的九份作为训练集，剩下的一份作为验证集，采用训练集对所述基于视觉Transformer算法的阿尔兹海默症分类预测方法进行训练，确定一组最优参数为优化算法为SGD，训练批次batch_size为32,学习率lr为4.012e-05，权重衰减weight_decay为0.1，训练轮数为200时所述基于视觉Transformer算法的阿尔兹海默症分类预测方法的测试结果最优，阿尔兹海默症分类准确度为92.368％。所述基于视觉Transformer算法的阿尔兹海默症分类预测方法具有较强的鲁棒性和较优的泛化能力。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，包括：

步骤1，获取多张阿尔兹海默症患者的核磁共振成像的图像样本，对多张图像样本进行数据预处理；

步骤2，将预处理后的多张图像样本进行图像尺寸调整，得到多张尺寸调整后的图像样本；

步骤3，将多张尺寸调整后的图像样本进行切块处理，得到多个小立方体；

步骤4，将多个小立方体进行线性映射，得到多个一维向量；

步骤5，对每一个一维向量进行位置信息添加；

步骤6，将位置信息添加后的多个一维向量输入Transformer encoder网络进行特征提取，Transformer encoder网络输出d维向量，将d维向量输入MLP模块，得到分类预测结果。

2.根据权利要求1所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤1具体包括：

步骤11，将多张所述图像样本进行AC-PC矫正，得到多张标准的图像样本；

步骤12，将多张标准的图像样本中的非脑结构进行剥离，得到多张非脑结构剥离后的图像样本；

步骤13，通过cat12工具箱的图像分割算法分别将多张非脑结构剥离后的图像样本中的结构性数据分割成灰质、白质和脑脊液三种结构，得到多张分割后的图像样本；

步骤14，将多张分割后的图像样本通过序列线性变换配准到标准脑模板空间MNI，统一全部图像样本的坐标空间；

步骤15，将多张图像样本中的灰质图像切片为2mm×2mm×2mm的立方体积图像，得到多张体积尺寸为91mm×109mm×91mm的图像样本。

3.根据权利要求2所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤2具体包括：

步骤21，对多张体积尺寸为91mm×109mm×91mm的图像样本的周围使用0进行填充，重新调整每张图像样本的尺寸为112mm×112mm×112mm。

4.根据权利要求3所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤3具体包括：

步骤31，设定步长为S，以S为步长按顺序分别将每张尺寸为112mm×112mm×112mm的图像样本切割成N个14mm×14mm×14mm的小立方体。

5.根据权利要求4所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤4具体包括：

步骤41，设定Transformer encoder网络中所有网络层上使用恒定的D维向量，通过线性映射，将N个14mm×14mm×14mm的小立方体映射为D个14mm×14mm×14mm的一维向量。

6.根据权利要求5所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤5具体包括：

步骤51，通过一维位置编码给每一个14mm×14mm×14mm的一维向量添加位置信息，如下所示：

PE_(pos,2i)＝sin(pos/10000^2i/d) (1)

PE_(pos,2i+1)＝cos(pos/10000^2i/d) (2)

其中，PE表示位置编码，pos表示一维向量在整张图像样本的位置，d表示PE维度，i表示第i个维度，i＝1,2,3,...,d。

7.根据权利要求6所述的基于视觉Transformer算法的阿尔兹海默症分类预测方法，其特征在于，所述步骤6具体包括：

步骤61，将添加位置信息后的D个14mm×14mm×14mm的一维向量输入标准的Transformer encoder网络进行特征提取，其中，Transformer encoder网络由M个相同层组成堆栈，每一层使用残差连接多头注意力机制网络和全连接层，Transformer encoder网络输出d维向量；

步骤62，将d维向量输入到由两层全连接层和非线性激活函数构成的MLP模块，得到分类预测结果。

Images