CN111640500A - 基于双线性融合与注意力机制的脑龄预测模型及方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制和双线性融合的脑龄预测模型及方法，该方法通过3D CNN网络提取图像的特征；然后为了更好的丰富每个像素点的特征表达能力对提取后的图像特征进行双线性融合处理；同时由于注意力机制可以捕获影响脑龄的关键特征信息，降低与脑龄无关的特征信息关注度，所以将双线性融合处理后的图像特征输入到Attention层，获得图像的注意力权重，基于注意力权重，获得图像的注意力；最后将图像特征送入到全连接层，进行大脑年龄回归预测。本发明利用注意力机制和双线性融合结合的方法提高了大脑年龄预测的准确性。

Description

基于双线性融合与注意力机制的脑龄预测模型及方法

技术领域

本发明属于信息技术领域，涉及图像处理、数据处理，医学图像处理，具体涉及一种基于双线性融合与注意力机制的脑龄预测模型及方法。

背景技术

脑龄是健康的一个重要指标，因为异常的脑龄大小会导致认知障碍和神经退行性疾病的风险。因此，越来越多的研究人员试图研究脑老化与疾病之间的相互作用，并利用脑磁共振成像(MRI)等神经影像学技术探索个体大脑中被称为“脑龄”的生物标志物，并证实了大脑年龄在神经科学和临床医学中具有重要的价值。脑年龄偏离，就是预测与健康大脑正常衰老的偏差。当预测的脑龄大于个体的实足年龄,就会患有认知障碍，糖尿病，精神分裂和癫痫等疾病的风险。

脑MRI是一种三维图像，但近年来传统的脑年龄预测方法的研究主要集中在二维图像分析上，将三维图像作为一组独立的二维切片。这些方法忽略了三维MRI数据之间的内在联系，造成图像空间特征损失，使得它们的特征表示能力较差。传统的脑龄预测方法通常是从大脑MRI中获取灰质(GM),白质(WM)，脑脊液(CSF),皮质厚度和表面曲率等特征,然后构造一个相似矩阵,最后回归预测大脑年龄,如高斯过程回归，支持向量回归等。但是使用这种特定的特征提取方法，会造成特征信息的损失，因为这些特征可能不是专门为提取与大脑年龄相关的信息而设计的。这些传统的方法，前期数据处理繁琐，预测效果不佳。

发明内容

针对现有技术中的缺陷和不足，本发明的目的在于，提供一种基于双线性融合与注意力机制的脑龄预测模型及方法，有效地利用双线性融合层处理特征信息表达能力弱的问题，同时利用Attention层，充分考虑到影响脑龄的关键特征信息起到重要作用问题，以更好地解决脑龄预测准确度问题。

为达到上述目的，本发明采取如下的技术方案：

一种基于双线性融合与注意力机制的脑龄预测模型，包括：

预处理模块，用于对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像；

3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1层到L4层；用于对输入到3D CNN特征提取模块中的模型输入图像进行图像特征提取，并将3D CNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

双线性融合处理模块，用于对特征矩阵X₄进行处理，将X₄进行转置，得到新的矩阵B，定义B的公式为：B＝X₄ ^T·X₄，其中，B为双线性融合后的特征，X₄ ^T为X₄的转置矩阵；

注意力值获取模块，用于将新的矩阵B输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v为偏置，

和

为权重值，h_v为注意力得分，α_v为注意力分布概率；最后产生图像的注意力值A＝α_v ^TB；

回归预测模块，用于把得到的图像注意力值A输入到全连接层进行回归分析，得到3D CNN结合双线性融合与注意力机制模型。

一种基于双线性融合与注意力机制的脑龄预测模型构建方法，包括以下步骤：

步骤1，对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像；

步骤2，构造一个3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1层到L4层；

再将步骤1中的模型输入图像输入到3D CNN特征提取模块提取图像特征，将3DCNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

步骤3，利用双线性融合对特征矩阵X₄进行处理，将X₄进行转置，得到新的矩阵B，；定义B的公式为：

B＝X₄ ^T·X₄

其中，B为双线性融合后的特征，X₄ ^T为X₄的转置矩阵；

步骤4，将通过双线性融合得到的新的矩阵B，输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v为偏置，

和

为权重值，h_v为注意力得分，α_v为注意力分布概率；

最后产生图像的注意力值A＝α_v ^TB；

步骤5，把得到的图像注意力值A输入到全连接层进行回归分析输出预测脑龄，得到3D CNN结合双线性融合与注意力机制模型。

本发明还包括如下技术特征：

具体的，所述步骤1中，首先将原始的脑MRI数据集分为训练集和测试集；并将原始的脑MRI数据集中的原始图像MRI生成灰质图像作为模型输入图像。

具体的，所述步骤2中，在L1层有两个卷积层一个池化层，其中卷积核大小为3×3×3，池化层大小为2×2×2；L1层处理后得到特征矩阵X₁∈R^{8×61×73×61}，其中8为特征图数，61×73×61为图像维度；

将特征矩阵X₁∈R^{8×61×73×61}输入到L2层，L2层卷积核大小为16×3×3×3，池化层大小固定为2×2×2，L2层处理后得到特征矩阵X₂∈R^{16×31×37×31}；

将特征矩阵X₂∈R^{16×31×37×31}输入到L3层，L3层卷积核大小为32×3×3×3，池化层大小固定为2×2×2，L3层处理后得到相对应特征矩阵X₃∈R^{32×16×19×16}；

将特征矩阵X₃∈R^{32×16×19×16}输入到L4层，L4层卷积核大小为64×3×3×3，池化层大小固定为2×2×2；L4层处理后得到相对应特征矩阵X₄∈R^64×8×10×8，L4层的batch-normalization层输出作为图像特征。

一种基于双线性融合与注意力机制的脑龄预测模型，该模型采用所述的构建方法得到。

一种基于双线性融合与注意力机制的脑龄预测方法，该方法首先对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像对所述的基于双线性融合与注意力机制的脑龄预测模型进行训练和测试得到预测脑龄f(x_m)，采用均方误差MSE作为目标函数：

M为训练集中样本的个数，y_m为标签实足年龄，f(x_m)为预测脑龄。

本发明与现有技术相比，有益的技术效果是：

1.本发明提出了将3DCNN、双线性融合和注意力机制相结合的网络模型，来进行更加准确的脑龄预测。

2.本发明使用双线性融合，更好的丰富每个像素点的特征表达能力。

3.本发明使用注意力机制应用到脑龄预测，更好的获取影响脑龄的关键特征信息。

4.本发明在一个真实脑MRI数据集上进行实验，实验证明本发明方法取得了很好的结果。

附图说明

图1为本发明构建基于注意力机制和双线性融合的脑龄预测算法模型网络结构图；

图2、图3、图4和图5分别是本发明方法，3DCNN，3DCNN-BF，3DCNN-Att方法的回归图；

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

具体实施方式

深度学习可以结合脑MRI有效地预测大脑年龄，具有良好的准确性，与传统的浅层学习模型相比，卷积神经网络能够捕捉到丰富的特征，这对于图像处理和计算机视觉任务尤为强大。本发明提出利用3D卷积神经网络提取图像特征并加入注意力机制和双线性融合模型，既可以解决图像处理过程中的空间特征损失，又可以提高预测准确度。

实施例1：

如图1所示，本实施例给出一种基于双线性融合与注意力机制的脑龄预测模型，包括：

预处理模块，用于对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像；

3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1层到L4层；用于对输入到3D CNN特征提取模块中的模型输入图像进行图像特征提取，并将3D CNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

双线性融合处理模块，用于对特征矩阵X₄进行处理，将X₄进行转置，得到新的矩阵B，定义B的公式为：B＝X₄ ^T·X₄，其中，B为双线性融合后的特征，X₄ ^T为X₄的转置矩阵；

注意力值获取模块，用于将新的矩阵B输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v为偏置，

和

为权重值，h_v为注意力得分，α_v为注意力分布概率；最后产生图像的注意力值A＝α_v ^TB；

回归预测模块，用于把得到的图像注意力值A输入到全连接层进行回归分析，得到3D CNN结合双线性融合与注意力机制模型。

实施例2：

如图1所示，本发明公开了一种基于双线性融合与注意力机制的脑龄预测模型构建方法，基于双线性融合与注意力机制的脑龄预测模型(即3D CNN结合双线性融合与注意力机制模型)的构建方法包括以下步骤：

步骤1，对原始的脑MRI数据集进行预处理，得到灰质图像X(121×145×121)作为模型输入图像；

具体的，首先将原始的脑MRI数据集分为训练集和测试集；并将原始的脑MRI数据集中的原始图像MRI生成121×145×121大小的灰质图像作为模型输入图像；

步骤2，首先构造一个3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1到L4层块；

再将步骤1中的模型输入图像输入到3D CNN特征提取模块提取图像特征，将3DCNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

具体如下：深度卷积网络是一个标准的深度学习模型，所以我们使用它提取图像特征，在L1层我们有两个卷积层一个池化层，其中卷积核大小为3×3×3，池化层大小为2×2×2；因此，L1层处理后得到一个特征矩阵X₁∈R^{8×61×73×61}，其中8表示特征图数，61×73×61表示图像维度；

将特征矩阵X₁∈R^{8×61×73×61}输入到L2层，L2层卷积核大小为16×3×3×3，池化层大小固定为2×2×2，L2层处理后得到一个相对应特征矩阵X₂∈R^{16×31×37×31}；

将特征矩阵X₂∈R^{16×31×37×31}输入到L3层，L3层卷积核大小为32×3×3×3，池化层大小固定为2×2×2，L3层处理后得到相对应特征矩阵X₃∈R^{32×16×19×16}；

将特征矩阵X₃∈R^{32×16×19×16}输入到L4层，L4层卷积核大小为64×3×3×3，池化层大小固定为2×2×2；L4层处理后得到相对应特征矩阵X₄∈R^64×8×10×8，L4层的batch-normalization层输出作为图像特征；

步骤3，利用双线性融合对特征矩阵X₄进行处理，得到新的矩阵B，即将X₄进行转置(即变式为640×64)；定义B的公式为：

B＝X₄ ^T·X₄

其中，B∈R^640×640表示双线性融合后的特征，X₄ ^T表示X₄的转置矩阵；

步骤4，将通过双线性融合得到的新的矩阵B，输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v表示为偏置，

和

表示权重值，h_v为注意力得分，α_v为注意力分布概率；

最后产生图像的注意力值A＝α_v ^TB；

步骤5，把得到的图像注意力值A输入到全连接层进行回归分析输出预测脑龄，得到3D CNN结合双线性融合与注意力机制模型。

图1中，输入层是预处理后的脑MRI，通过3DCNN提取图像特征，3DCNN包含4个重复的模块L1,L2,L3,L4,每个模块的结构为3D卷积层、ELU激活函数、3D最大池化层和批处理层，然后将3DCNN提取的特征送入到双线性层(Bilinear Fusion)，再输入到注意力层(Attention Layer)，获得最终的图像特征，最后输入到全连接层进行回归预测。

实施例3：

本发明还公开了一种基于双线性融合与注意力机制的脑龄预测方法，该方法首先对原始的脑MRI数据集进行预处理，得到灰质图像X(121×145×121)作为模型输入图像对建立3D CNN结合双线性融合与注意力机制模型进行训练和测试得到预测脑龄f(x_m)，采用均方误差MSE作为目标函数：

M表示训练集中样本的个数，y_m表示标签实足年龄，f(x_m)表示预测脑龄。使用的优化策略是Adam更新参数，最小化目标函数。

实验设计与验证：

下表1为本发明方法数据集设置，Dataset代表数据库，number代表每个数据库的MRI图像数量，Age range代表每个数据库MRI图像的年龄范围。

我们使用的数据集是基于真实世界的脑MRI数据集，数据集包含1641张图像，将数据集分为训练集1473张，测试集141张，为了评估提出的方法，使用平均绝对误差(MAE)作为评价标准，定义分别如下公式：

M表示训练集中样本的个数，y_m表示标签实足年龄，f(x_m)表示预测脑龄。

表1为本发明方法数据集设置

实验结果：

方法设置的参数为：训练集MRI数量1473张，测试集数量141张。

如下表2所示，为本发明方法对比Cole et al，3DCNN，3DCNN-BF，3DCNN-Att的实验结果，Methods代表预测脑龄的方法，Age range代表每个方法使用的数据库年龄范围，Training sample size代表训练的样本，MAE代表平均绝对误差。Cole是现存的深度学习预测脑龄方法，3DCNN没有结合双线性融合和注意力机制；3DCNN-BF是3DCNN结合双线性融合；3DCNN-Att是3DCNN结合注意力机制；3DAMBF是3DCNN结合双线性融合和注意力机制。

表2为本发明方法对比Cole et al，3DCNN，3DCNN-BF，3DCNN-Att的实验结果

本发明对比了其他模型(表2)，实验结果如(表2)所示，从实验结果可以看出，本发明提出的方法相较于原始模型性能方面有很大的提升，能达到MAE＝3.77，并且与其他方法(表2)相比，MAE有很大降低，验证了本发明所提出方法的有效性和可行性。

图2、图3、图4和图5是本发明方法，3DCNN，3DCNN-BF，3DCNN-Att方法的回归图，横轴表示实足年龄，纵轴表示预测脑龄；虚线表示拟合线。观测点整体越靠近拟合线，说明模型预测的越好，准确率越高。

Claims (5)

1.一种基于双线性融合与注意力机制的脑龄预测模型，其特征在于，包括：

预处理模块，用于对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像；

3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1层到L4层；用于对输入到3D CNN特征提取模块中的模型输入图像进行图像特征提取，并将3D CNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

双线性融合处理模块，用于对特征矩阵X₄进行处理，将X₄进行转置，得到新的矩阵B，定义B的公式为：B＝X₄ ^T·X₄，其中，B为双线性融合后的特征，X₄ ^T为X₄的转置矩阵；

注意力值获取模块，用于将新的矩阵B输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v为偏置，

和

为权重值，h_v为注意力得分，α_v为注意力分布概率；最后产生图像的注意力值A＝α_v ^TB；

回归预测模块，用于把得到的图像注意力值A输入到全连接层进行回归分析，得到3DCNN结合双线性融合与注意力机制模型。

2.一种基于双线性融合与注意力机制的脑龄预测模型构建方法，其特征在于，包括以下步骤：

步骤1，对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像；

步骤2，构造一个3D CNN特征提取模块，该特征提取模块包含4个具有相同结构子层的L1层到L4层；

再将步骤1中的模型输入图像输入到3D CNN特征提取模块提取图像特征，将3D CNN的最后L4层的batch-normalization层输出的特征矩阵X₄作为图像特征；

步骤3，利用双线性融合对特征矩阵X₄进行处理，将X₄进行转置，得到新的矩阵B，定义B的公式为：

B＝X₄ ^T·X₄

其中，B为双线性融合后的特征，X₄ ^T为X₄的转置矩阵；

步骤4，将通过双线性融合得到的新的矩阵B，输入到Attention层，得到图像特征注意力，注意力机制定义为：

其中，b_v为偏置，

和

为权重值，h_v为注意力得分，α_v为注意力分布概率；

最后产生图像的注意力值A＝α_v ^TB；

步骤5，把得到的图像注意力值A输入到全连接层进行回归分析输出预测脑龄，得到3DCNN结合双线性融合与注意力机制模型。

3.如权利要求2所述的基于双线性融合与注意力机制的脑龄预测模型构建方法，其特征在于，所述步骤1中，首先将原始的脑MRI数据集分为训练集和测试集；并将原始的脑MRI数据集中的原始图像MRI生成灰质图像作为模型输入图像。

4.如权利要求2所述的基于双线性融合与注意力机制的脑龄预测模型构建方法，其特征在于，所述步骤2中，在L1层有两个卷积层一个池化层，其中卷积核大小为3×3×3，池化层大小为2×2×2；L1层处理后得到特征矩阵X₁∈R^{8×61×73×61}，其中8为特征图数，61×73×61为图像维度；

将特征矩阵X₁∈R^{8×61×73×61}输入到L2层，L2层卷积核大小为16×3×3×3，池化层大小固定为2×2×2，L2层处理后得到特征矩阵X₂∈R^{16×31×37×31}；

将特征矩阵X₂∈R^{16×31×37×31}输入到L3层，L3层卷积核大小为32×3×3×3，池化层大小固定为2×2×2，L3层处理后得到相对应特征矩阵X₃∈R^{32×16×19×16}；

将特征矩阵X₃∈R^{32×16×19×16}输入到L4层，L4层卷积核大小为64×3×3×3，池化层大小固定为2×2×2；L4层处理后得到相对应特征矩阵X₄∈R^64×8×10×8，L4层的batch-normalization层输出作为图像特征。

5.一种基于双线性融合与注意力机制的脑龄预测方法，其特征在于，该方法首先对原始的脑MRI数据集进行预处理，得到灰质图像X作为模型输入图像对权利要求1所述的基于双线性融合与注意力机制的脑龄预测模型进行训练和测试得到预测脑龄f(x_m)，采用均方误差MSE作为目标函数：

M为训练集中样本的个数，y_m为标签实足年龄，f(x_m)为预测脑龄。

Images