CN110992316B - 基于2d cam的大脑核磁共振异常图像的可视化方法 - Google Patents

Abstract

本发明公开了一种基于2D CAM的大脑核磁共振异常图像的可视化方法，采集患者的大脑核磁共振异常图像作为训练样本‑利用训练样本对二维类激活映射2D CAM进行训练，确定训练后的网络参数即系数矩阵W和偏倚向量b值‑根据不同的磁共振图像创建可视化热度图。在传统CAM模型的基础上对患者的大脑核磁共振异常图像进行处理，实现自动识别检测且可视化效果良好的，便于辅助医学研究者定量分析和研究。

Description

基于2D CAM的大脑核磁共振异常图像的可视化方法

技术领域

本发明属于核磁共振图像病症可视化技术领域，具体涉及一种基于2D CAM的大脑核磁共振异常图像的可视化方法。

背景技术

深度学习作为一个新兴的机器学习领域，近几年来逐渐在计算机视觉、音视频处理、自然语言处理、精确导航等各个领域取得了巨大的成就，其主要出发点在于大致模拟人类的神经网络系统，利用逐层的特征提取来完成相应的抽象信息归纳总结。相较于传统的可支持向量机和最大熵而言，这些方法只能被称之为浅层学习，浅层学习通常需要人工依靠数学推导等方式设计抽象特征，以此来完成相应的识别等应用。

学术界一直在研究神经网络到底在学习到了什么东西，也就是所谓的特征，比如采用反卷积(Deconvolution)和导向反向传播(Guided-back-propagation)。虽然能在这些反向传播的图像上看到一定的图像类别的轮廓，但是基本看不到模型学到了什么东西。CAM是class activation map的缩写，类激活映射网络CAM模型通常与卷积神经网络结合在一起使用，它将神经网络经过多次卷积和池化之后的特征图，进行了综合，以单个神经元的形式进行配比，以热度图的形式显示相应感兴趣的区域。

发明内容

本发明的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于2D CAM的大脑核磁共振异常图像的可视化方法。

为实现上述目的，本发明所设计的基于2D CAM的大脑核磁共振异常图像的可视化方法如下：

1)采集患者的大脑核磁共振(MRI)异常图像作为训练样本；

2)利用训练样本对2D CAM模型进行训练，得到训练后的网络参数，即系数矩阵W和偏倚向量b值；

21)构建2D CAM模型，并随机初始化网络参数

构建2D CAM模型，该2D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对2D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)2D CAM网络第一次正向迭代；

23)2D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重w^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重w^l和偏置b^l；

3)根据不同的磁共振图像创建可视化热度图

31)提取训练后2D CAM模型中步骤229)的全连接层的所有权重w'；

32)提取训练后2D CAM模型中步骤228)的全连接层连接至一个个单一神经元的所有权重w”，即为w″₁、w″₂、...、w″_j；

33)将步骤228)全局平均池化后特征图中乘以其步骤31)和步骤32)中相应的权重w'w”；

34)将得到多张热力图进行热力图归一化，按第一维度展开成所需的患者的原大脑核磁共振异常图像的大小，将切片特征图相加，然后按进行图像二维显示，实现基于2DCAM的大脑核磁共振异常图像的可视化。

进一步地，所述步骤22)中，具体过程如下：

221)大脑核磁共振异常图像作为输入层

以三维的大脑核磁共振异常图像沿第一维度切片的m张二维图像作为2D CAM模型的输入层，输入层采用的是分辨率大小为H×L的2D MRI图像，H代表的是2D MRI图像的高度，L代表的是2D MRI图像的宽度，将每张二维的核磁共振图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量x，向量x中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量x本身；

222)卷积层Conv 1a层采用N个大小F₀为H₀×L₀的二维卷积核对步骤1)的大脑核磁共振异常图像进行二维卷积，获取Conv 1a层二维卷积后特征图，其中H₀远小于H、L₀远小于L

卷积层Conv1a层的三维卷积核的个数为N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C1，特征图填充圈数为padding-F₁，2D MRI图像作为2D CAM网络的输入层，采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积，有多少个卷积核得到多少个特征图像，因此得到了数量为m×N的Conv1a层二维卷积后特征图，分辨率大小为Hc₁×Lc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1，Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中/>

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积时，得到该卷积层的神经元连接到输入层神经元的的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a(l＝2)层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层二维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀，步长Stride记为S_P1，特征图填充圈数为padding-P₁，对Conv1a层所得到的每一张二维卷积后特征图进行降维采样，得到Pool1层池化后特征图，即m×N张分辨率大小H_p1×L_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1，L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层二维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次二维卷积

卷积层Conv 2a层的二维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C2，特征图填充圈数为padding-F₂，对Pool 1层每一张池化后特征图进行二次二维卷积得到m×2N个Conv 2a层二维卷积后特征图，分辨率大小为Hc₂×Lc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1，Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个二维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv2a层二维卷积后的特征图进行池化

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为padding-P₂，对Conv 2a层所得到的每一张二维卷积后特征图进行降维采样得到Pool2层池化后特征图，即m×2N张分辨率大小H_p2×L_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1，L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层二维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)且循环多次直至完成提前设定的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后的特征图进行全局平均池化，计算每一张特征图所有像素点的均值，输出每一张池化后特征图的数据值，每个数据值也分别相对应着一个神经元；

228)采用全连接层将步骤227)每一张特征图全局平均池化后所对应的全部神经元全连接至一个个的单一神经元；

229)采用全连接层连接至步骤228)所有单一神经元，所有单一神经元对应的数据值形成一个特征向量，将特征向量输送至分类输出层并输出多个类别

进一步地，所述步骤23)中，具体过程如下：

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重w^l和偏置b^l项：更新每一卷积层网络参数时都有：

更新到全连接层网络参数时有：/>

α为学习速率，是一个常数。

进一步地，所述步骤31)中，具体过程如下：

对任一个类别C，每一个特征图k的数据值都有一个对应的权重，记为

b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为/>

多个类别对应多套全连接层权重，提取出训练后2D CAM模型中步骤229)的所有类别的全连接层所有权重w'。

进一步地，所述步骤33)中，具体过程如下：

输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即：

其中，

代表对C这个类别，每一个特征图k的数据值所对应的权重；T_k代表特征图k对应的层；

权重就代表了每个特征图对于海马这个类别结果的贡献程度，

的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重

与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图；

与现有技术相比，本发明具有以下优点：本发明基于2D CAM的大脑核磁共振异常图像的可视化方法，在传统CAM模型的基础上对患者的大脑核磁共振异常图像进行处理，实现自动识别检测且可视化效果良好的，便于辅助医学研究者定量分析和研究。

附图说明

图1是本发明中2D CAM模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

一种基于2D CAM的大脑核磁共振异常图像的可视化方法，具体方法如下：

1)采集患者的大脑核磁共振异常图像作为训练样本；

2)利用训练样本对2D CAM进行训练，确定训练后的网络参数即系数矩阵W和偏倚向量b值；

21)构建2D CAM模型，并随机初始化网络参数

构建2D CAM模型，如图1所示，该2D CAM模型包括输入层(input layer)、卷积层(convolution layer)、池化层(pooling layer)、全局平均池化层(global averagepooling layer)、全连接层(fully connected layer)及输出层(output layer)，并对2DCAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)2D CAM网络第一次正向迭代

221)大脑核磁共振异常图像作为输入层

以三维的大脑核磁共振异常图像沿第一维度切片的m(如6)张二维图像作为2DCAM模型的输入层，输入层采用的是分辨率大小为H×L(如32×32)的2D MRI图像，H代表的是2D MRI图像的高度，L代表的是2D MRI图像的宽度；将每张二维的核磁共振图像的像素点进行顺序排列，用来作为输入层(l＝1)神经元的值，假设神经网络的输入层神经元输入为向量x，向量x中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^{i ,1}也是输入向量x本身；

222)卷积层Conv 1a层采用N(如20)个大小F₀为H₀×L₀(如5×5)的二维卷积核对步骤1)患者的大脑核磁共振异常图像进行二维卷积，获取Conv 1a层二维卷积后特征图，其中H₀远小于H、L₀远小于L

卷积层作为整个二维神经网络的核心层，最重要的特点就是在整个2D MRI图像中卷积核共享权值，这样大大减少了参数和计算量；卷积层Conv1a层的二维卷积核的个数为N(如20)个、尺寸大小F₀为H₀×L₀(如5×5)，步长stride记为S_C1(如1)，为了保持卷积后输出的特征图大小与输入层的图像大小保持不变，也保持了图像边界信息，特征图填充圈数为padding-F₁(如2)，2D MRI图像作为2D CAM网络的输入层，采用N(如20)个二维卷积核对步骤221)中2D MRI图像进行二维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到了数量为m×N(120个)的Conv1a层二维卷积后特征图，分辨率大小为Hc₁×Lc₁(如32×32)，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1，Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中/>

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N(如20)个二维卷积核对步骤221)中2D MRI图像进行二维卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a(l＝2)层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层二维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀(如3×3)，步长Stride记为S_P1(如1)，特征图填充圈数为padding-P₁(如1)，对Conv1a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即m×N(如120个)张分辨率大小H_p1×L_p1(如32×32)的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1，L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1(l＝3)层在池化Conv1a层二维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次二维卷积

卷积层Conv 2a层的二维卷积核的个数为2N(如40)个、尺寸大小F₀为H₀×L₀×D₀(如5×5)，步长stride记为S_C2(如1)，特征图填充圈数为padding-F2(如2)，对Pool 1层每一张池化后特征图进行二次二维卷积得到m*2N(如240)个Conv 2a层二维卷积后特征图，分辨率大小为Hc₂×Lc₂(如32×32)，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1，Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a(l＝4)层采用2N(如40)个二维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a(l＝4)层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv2a层二维卷积后特征图进行池化

池池化层的Pool 2层采用池化核尺寸大小为p₀(如3×3)，步长Stride记为S_P2(如2)，特征图填充圈数为padding-P2(如0)，对Conv2a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即m*2N(如240)张分辨率大小H_p2×L_p2(如16×16)的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1，L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2(l＝5)层池化Conv 2a层二维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)(即可以卷积一次后池化一次，也可以卷积几次后池化一次)且循环多次直至完成提前设定的卷积、池化层数后，停止卷积和池化，本次操作采用7次卷积和5次池化，如下：

226)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后的特征图进行全局平均池化，计算每一张特征图所有像素点的均值，输出每一张池化后特征图的数据值，每个数据值也分别相对应着一个神经元；

228)采用全连接层将步骤227)每一张特征图全局平均池化后所对应的全部神经元全连接至一个个的单一神经元；

229)采用全连接层连接至步骤228)所有单一神经元，所有单一神经元对应的数据值形成一个特征向量，将特征向量输送至分类输出层并输出多个类别；

23)2D CAM网络第一次反向迭代

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重w^l和偏置b^l项：更新每一卷积层网络参数时都有：

更新到全连接层网络参数时有：

α为学习速率，是一个常数；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重w^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重w^l和偏置b^l；

步骤3)根据不同的磁共振图像创建可视化热度图

31)提取训练后2D CAM模型中步骤229)的全连接层的所有权重w'

对任一个类别C，每一个特征图k的数据值都有一个对应的权重，记为

b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为/>

多个类别对应多套全连接层权重，提取出训练后2D CAM模型中步骤229)的所有类别的全连接层所有权重w'；

32)提取训练后2D CAM模型中步骤228)全连接层连接至一个个单一神经元的所有权重w”，即为w″₁、w″₂、...、w″_j；

33)将步骤228)全局平均池化后特征图中乘以其步骤31)和步骤32)中相应的权重w'w”；

输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即：

其中，

代表对C这个类别，每一个特征图k的数据值所对应的权重；T_k代表特征图k对应的层；

如：假设其中一个分类的结果是大脑MRI图像的海马区域，将海马这个类别所对应的所有权重

提取出来，与全局平均池化后对应的特征图相乘，最后得到海马这个类的热力图，如下：

(海马的热力图)权重就代表了每个特征图对于海马这个类别结果的贡献程度，/>

的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重

与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图；

34)将得到多张热力图进行热力图归一化，按第一维度展开成所需的患者大脑原核磁共振图像的大小，将切片特征图相加，然后按进行图像二维显示，现了基于2D CAM的大脑核磁共振异常图像的可视化。

Claims (4)

1.一种基于2D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述可视化方法如下：

1)采集患者的大脑核磁共振异常图像作为训练样本；

2)利用训练样本对2D CAM进行训练，确定训练后的网络参数即系数矩阵W和偏倚向量b值；

21)构建2D CAM模型，并随机初始化网络参数；

构建2D CAM模型，该2D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对2D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)2D CAM网络第一次正向迭代；

23)2D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

所述步骤22)中，具体过程如下：

221)大脑核磁共振异常图像作为输入层；

以三维的大脑核磁共振异常图像沿第一维度切片的m张二维图像作为2D CAM模型的输入层，输入层采用的是分辨率大小为H×L的2D MRI图像，H代表的是2D MRI图像的高度，L代表的是2D MRI图像的宽度；将每张二维的核磁共振异常图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量x，向量x中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量x本身；

222)卷积层Conv 1a层采用N个大小F₀为H₀×L₀的二维卷积核对步骤1)的核磁共振异常图像进行二维卷积，获取Conv 1a层二维卷积后特征图，其中H₀远小于H、L₀远小于L；

卷积层Conv 1a层的二维卷积核的个数为N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C1，特征图填充圈数为Padding-F₁，2D MRI图像作为2D CAM网络的输入层，采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积，有多少个卷积核得到多少个特征图像，因此得到了数量为m×N的Conv 1a层二维卷积后特征图，分辨率大小为Hc₁×Lc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1，Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中/>

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积时，得到该卷积层的神经元连接到输入层神经元的权重为W²，一个偏置为b²，Conv 1a层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层二维卷积后特征图进行池化；

池化层的Pool 1层采用池化核尺寸大小为p₀，步长stride记为S_P1，特征图填充圈数为Padding-P_1，对Conv 1a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即m×N张分辨率大小H_p1×L_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1，L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层二维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次二维卷积；

卷积层Conv 2a层的二维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀，步长stride记为S_C2，特征图填充圈数为Padding-F₂，对Pool 1层每一张池化后特征图进行二次二维卷积得到m×2N个Conv 2a层二维卷积后特征图，分辨率大小为Hc₂×Lc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1，Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个二维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W²，以及一个偏置b²，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层二维卷积后特征图进行池化；

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为Padding-P₂，对Conv 2a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即m×2N张分辨率大小H_p2×L_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1，L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层二维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)且循环多次直至完成提前设定的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作；

对最后一层池化后的特征图进行全局平均池化，计算每一张二维特征图所有像素点的均值，输出每一张池化后特征图的数据值，每个数据值也分别相对应着一个神经元；

228)采用全连接层将步骤227)每一张特征图全局平均池化后所对应的全部神经元全连接至一个个的单一神经元；

229)采用全连接层连接至步骤228)所有单一神经元，所有单一神经元对应的数据值形成一个特征向量，将特征向量输送至分类输出层并输出多个类别；

步骤3)根据不同的核磁共振异常图像创建可视化热度图；

31)提取训练后2D CAM模型中步骤229)全连接层的所有权重w'；

32)提取训练后2D CAM模型中步骤228)全连接层连接至一个个单一神经元的所有权重w”，即为w”₁、w”₂、...、w”_j；

33)将步骤228)全局平均池化后特征图中乘以其步骤31)和步骤32)中相应的权重w'w”；

34)将得到多张热力图进行热力图归一化，按第一维度展开成所需的患者原大脑核磁共振异常图像的大小，将切片特征图相加，然后按进行图像二维显示，实现了基于2D CAM的大脑核磁共振异常图像的可视化。

2.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤23)中，具体过程如下：

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重w^l和偏置b^l项：更新每一卷积层网络参数时都有：

更新到全连接层网络参数时有：/>

α为学习速率，是一个常数。

3.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤31)中，具体过程如下：

对任一个类别C，每一个特征图k的数据值都有一个对应的权重，记为

b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为/>

多个类别对应多套全连接层权重，提取出训练后2D CAM模型中步骤229)的所有类别的全连接层所有权重w'。

4.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤33)中，具体过程如下：

输出层分类的结果看成是全局平均池化后特征图与相应权重的乘积即：

其中，

代表对C这个类别，每一个特征图k的数据值所对应的权重；T_k代表特征图k对应的层；

权重就代表了每个特征图对于海马这个类别结果的贡献程度，

的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重

与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图。/>

Images