CN110910366B - 基于3d cam的大脑核磁共振异常图像的可视化方法 - Google Patents

Abstract

本发明公开了一种基于3D CAM的大脑核磁共振异常图像的可视化方法，采集患者的脑核磁共振异常图像作为训练样本‑利用训练样本对3D CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值‑根据不同的磁共振图像创建可视化热度图。在传统CAM模型的基础上对患者的大脑核磁共振异常图像进行处理，实现自动识别检测且可视化效果良好的，便于辅助医学研究者定量分析和研究。

Description

基于3D CAM的大脑核磁共振异常图像的可视化方法

技术领域

本发明属于核磁共振图像病症可视化技术领域，具体涉及一种基于3D CAM的大脑核磁共振异常图像的可视化方法。

背景技术

从2006年Hinton等人在Science上提出了深度学习以来，深度学习就广泛被人们所接受和研究。这篇文章最关键的创新点来自于将神经网络的层数提高，以及数据量的极大增多，以此发挥了神经网络对于大数据处理的能力和提取图像特征的能力。另外，神经网络的成功也离不开计算机硬件的高速发展，GPU的出现使得训练多层隐藏层和大批量数据成为可能，从而使得神经网络逐渐在计算机视觉、音视频处理、自然语言处理、精确导航等各个领域取得了巨大的成就。

学术界一直在研究神经网络到底在学习到了什么东西，也就是所谓的特征，比如采用反卷积(Deconvolution)和导向反向传播(Guided-back-propagation)。虽然能在这些反向传播的图像上看到一定的图像类别的轮廓，但是基本看不到模型学到了什么东西。CAM是class activation map的缩写，类激活映射网络CAM模型通常与卷积神经网络结合在一起使用，它将神经网络经过多次卷积和池化之后的特征图，进行了综合，以单个神经元的形式进行配比，以热度图的形式显示相应感兴趣的区域。CAM模型通常被应用于二维日常图片上，从识别区域的准确性和意义来看，定量分析准确。

发明内容

本发明的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于3D CAM的大脑核磁共振异常图像的可视化方法。

为实现上述目的，本发明所设计的基于3D CAM的大脑核磁共振异常图像的可视化方法，具体如下：

1)采集患者的脑核磁共振异常图像作为训练样本；

2)利用训练样本对3D CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；

21)构建3D CAM模型，并随机初始化网络参数

构建3D CAM模型，该3D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对3D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)3D CAM网络第一次正向迭代；

23)3D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

25)采用全连接层连接步骤227)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层并输出多个类别；

3)根据不同的磁共振图像创建可视化热度图

31)提取训练后3D CAM模型中步骤25)全连接层的所有权重w；

32)将步骤227)全局平均池化后特征图中乘以其相应的权重w_j；

33)将得到多张热力图进行热力图归一化，展开成所需患者的原大脑核磁共振异常图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D CAM的大脑核磁共振异常图像的可视化。

进一步地，所述步骤22)中，具体过程如下

221)大脑核磁共振异常图像作为输入层

n张患者的大脑核磁共振异常图像依次堆叠形成一个3D MRI图像，该3D MRI图像作为3D CAM模型的输入层，输入层采用的是分辨率大小为H×L×D的3D MRI图像，H代表的是3D MRI图像的高度，L代表的是3D MRI图像的宽度，D代表的是3D MRI图像的深度；将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量向量/>中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量/>本身；

222)卷积层Conv 1a层采用N个大小F₀为H₀×L₀×D₀的三维卷积核对步骤1)患者的大脑核磁共振异常图像进行三维卷积，获取Conv 1a层三维卷积后特征图，其中H₀远小于H、L₀远小于L、D₀远小于D

卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C1，特征图填充圈数为padding-F₁，3D MRI图像作为3D CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到了数量为N的Conv 1a层三维卷积后特征图，分辨率大小为Hc₁×Lc₁×Dc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1

Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

Dc₁＝(D-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b^l，其中/>代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀，步长Stride记为S_P1，特征图填充圈数为padding-P₁，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool1层池化后特征图，即N张分辨率大小H_p1×L_p1×S_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1

L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

D_p1＝(Dc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积

卷积层Conv 2a层的三维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C2，特征图填充圈数为padding-F₂，对Pool 1层每一张池化后特征图进行二次三维卷积得到2N个Conv 2a层三维卷积后特征图，分辨率大小为Hc₂×Lc₂×Sc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1

Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Dc₂＝(Dc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为padding-P₂，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样得到Pool2层池化后特征图，即2N张分辨率大小H_p2×L_p2×S_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1

L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

D_p2＝(Dc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)(即可以卷积一次后池化一次，也可以卷积多次后池化一次)且循环多次直至完成预设的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后特征图中的每一张池化后特征图计算所有像素点的均值，输出每一张池化后特征图的数据值。

进一步地，所述步骤23)中，具体过程如下：

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv 1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重W^l和偏置b^l项：更新每一卷积层网络参数时都有：更新到全连接层网络参数时有：/>α为学习速率，是一个常数。

进一步地，所述步骤31)中，具体过程如下：

对任一个类别C，每一个特征图k的数据值都有一个对应的权重w，记为b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为/>多个类别对应多套全连接层权重，然后提取出训练后3D CAM模型中所有类别的全连接层所有权重w。

进一步地，所述步骤32)中，具体过程如下：

输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即：

其中，代表对C这个类别，每一个特征图k的数据值所对应一个权重；T_k代表特征图k对应的层；

权重就代表了每个特征图对于海马这个类别结果的贡献程度，的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图。

与现有技术相比，本发明具有以下优点：本发明基于3D CAM的大脑核磁共振异常图像的可视化方法，在传统CAM模型的基础上对患者的大脑核磁共振异常图像进行处理，实现自动识别检测且可视化效果良好的，便于辅助医学研究者定量分析和研究。

附图说明

图1是本发明中3D CAM模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

一种基于3D CAM的大脑核磁共振异常图像的可视化方法，具体方法如下：

1)采集患者的脑核磁共振异常图像作为训练样本；

2)利用训练样本对3D CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值

21)构建3D CAM模型，并随机初始化网络参数

构建3D CAM模型，如图1所示该3D CAM模型包括输入层(input layer)、卷积层(convolution layer)、池化层(pooling layer)、全局平均池化层(global averagepooling layer)、全连接层(fully connected layer)及输出层(output layer)，并对3DCAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)3D CAM第一次正向迭代

221)大脑核磁共振异常图像作为输入层

n张患者的大脑核磁共振异常图像依次堆叠形成一个3D MRI图像，该3D MRI图像作为3D CAM模型的输入层，输入层采用的是分辨率大小为H×L×D(如32×32×32)的3DMRI图像，H代表的是3D MRI图像的高度，L代表的是3D MRI图像的宽度，D代表的是3D MRI图像的深度；将MRI图像的像素点进行顺序排列，用来作为输入层(l＝1)神经元的值，假设神经网络的输入层神经元输入为向量向量/>中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量/>本身；

222)卷积层Conv 1a层采用N(如20)个大小F₀为H₀×L₀×D₀(如5×5×5)的三维卷积核对步骤1)的大脑核磁共振异常图像进行三维卷积，获取Conv 1a层三维卷积后特征图，其中H₀远小于H、L₀远小于L、D₀远小于D

卷积层作为整个3D CAM的核心层，最重要的特点就是在整个3D MRI图像中卷积核共享权值，这样大大减少了参数和计算量；卷积层Conv 1a层的三维卷积核的个数为N(如20)个、尺寸大小F₀为H₀×L₀×D₀(如5×5×5)，步长stride记为S_C1(如1)，为了保持卷积后输出的三维特征图大小与输入层的图像大小保持不变，也保持了图像边界信息，特征图填充圈数为padding-F₁(如2)，3D MRI图像作为3D CAM网络的输入层，采用N(如20)个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到了数量为N(如20)的Conv 1a层三维卷积后特征图，分辨率大小为Hc₁×Lc₁×Dc₁(如32×32×32)，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1

Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

Dc₁＝(D-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b^l，其中/>代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N(如20)个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a(l＝2)层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀(如3×3×3)，步长Stride记为S_P1(如1)，特征图填充圈数为padding-P₁(如1)，对Conv1a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即N张分辨率大小H_p1×L_p1×S_p1(如32×32×32)的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1

L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

D_p1＝(Dc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1(l＝3)层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积

卷积层Conv 2a层的三维卷积核的个数为2N(如40)个、尺寸大小F₀为H₀×L₀×D₀(如5×5×5)，步长stride记为S_C2(如1)，特征图填充圈数为padding-F2(如2)，对Pool 1层每一张池化后特征图进行二次三维卷积得到2N(如40)个Conv 2a层三维卷积后特征图，分辨率大小为Hc₂×Lc₂×Sc₂(如32×32×32)，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1

Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Dc₂＝(Dc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a(l＝4)层采用N(如20)个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a(l＝4)层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化

池化层的Pool 2层采用池化核尺寸大小为p₀(如3×3×3)，步长Stride记为S_P2(如2)，特征图填充圈数为padding-P2(如0)，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即2N(如40)张分辨率大小H_p2×L_p2×S_p2(如16×16×16)的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1

L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

D_p2＝(Dc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2(l＝5)层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)(即可以卷积一次后池化一次，也可以卷积几次后池化一次)且循环多次直至完成提前设定的卷积、池化层数后，停止卷积和池化，本次操作采用7次卷积和5次池化，如下：

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后特征图中的每一张池化后特征图计算所有像素点的均值，输出每一张池化后特征图的数据值；

23)3D CAM网络第一次反向迭代

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv 1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重W^l和偏置b^l项：更新每一卷积层网络参数时都有：

更新到全连接层网络参数时有：α为学习速率，是一个常数；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

25)采用全连接层连接步骤227)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层并输出多个类别；

步骤3)根据不同的磁共振图像创建可视化热度图

31)提取训练后3D CAM模型中步骤25)全连接层的所有权重w

对任一个类别C，每一个特征图k的数据值都有一个对应的权重w，记为b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为/>多个类别对应多套全连接层权重，然后提取出训练后3D CAM模型中所有类别的全连接层所有权重w；

32)将步骤227)全局平均池化后特征图中乘以其相应的权重w_j

输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即：

其中，代表对C这个类别，每一个特征图k的数据值所对应一个权重；T_k代表特征图k对应的层；

如：假设其中一个分类的结果是大脑MRI图像的海马区域，将海马这个类别所对应的所有权重提取出来，与全局平均池化后对应的特征图相乘，最后就得到海马这个类的热力图，如下：

权重就代表了每个特征图对于海马这个类别结果的贡献程度，的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图；

33)将得到多张热力图进行热力图归一化，展开成所需的患者的原大脑核磁共振异常图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D CAM的大脑核磁共振异常图像的可视化。

Claims (4)

1.一种基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述可视化方法具体如下：

1)采集患者的脑核磁共振异常图像作为训练样本；

2)利用训练样本对3D CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏移向量b值

21)构建3D CAM模型，并随机初始化网络参数

构建3D CAM模型，该3D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对3D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏移向量b值，使系数矩阵W和偏移向量b值为一个初始的随机值；

22)3D CAM网络第一次正向迭代；

所述步骤22)中，具体过程如下：

221)大脑核磁共振异常图像作为输入层

n张患者的大脑核磁共振异常图像依次堆叠形成一个3D MRI图像，该3D MRI图像作为3D CAM模型的输入层，输入层采用的是分辨率大小为H×L×D的3D MRI图像，H代表的是3DMRI图像的高度，L代表的是3D MRI图像的宽度，D代表的是3D MRI图像的深度；将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量向量/>中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量/>本身；

222)卷积层Conv 1a层采用N个分辨率大小F₀为H₀×L₀×D₀的三维卷积核对步骤1)的大脑核磁共振异常图像进行三维卷积，获取Conv 1a层三维卷积后特征图，其中H₀远小于H、L₀远小于L、D₀远小于D

卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C1，特征图填充圈数为padding-F₁，3DMRI图像作为3D CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到了数量为N的Conv 1a层三维卷积后特征图，分辨率大小为Hc₁×Lc₁×Dc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1

Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

Dc₁＝(D-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b^l，其中/>代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀，步长Stride记为S_P1，特征图填充圈数为padding-P₁，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即N张分辨率大小H_p1×L_p1×D_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1

L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

D_p1＝(Dc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积

卷积层Conv 2a层的三维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C2，特征图填充圈数为padding-F₂，对Pool 1层每一张池化后特征图进行二次三维卷积得到2N个Conv2a层三维卷积后特征图，分辨率大小为Hc₂×Lc₂×Dc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1

Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Dc₂＝(Dc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为padding-P₂，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即2N张分辨率大小H_p2×L_p2×D_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1

L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

D_p2＝(Dc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)且循环多次直至完成预设的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后特征图中的每一张池化后特征图计算所有像素点的均值，输出每一张池化后特征图的数据值；

23)3D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

25)采用全连接层连接步骤227)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层并输出多个类别；

步骤3)根据不同的磁共振图像创建可视化热度图

31)提取训练后3D CAM模型中步骤25)全连接层的所有权重w；

32)将步骤227)全局平均池化后特征图中乘以其相应的权重w_j；

33)将得到多张热力图进行热力图归一化，展开成所需的患者的原大脑核磁共振异常图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D CAM的大脑核磁共振异常图像的可视化。

2.根据权利要求1所述基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤23)中，具体过程如下：

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算当前层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播计算误差项必须先从输出层开始，全连接层其误差为δ^i,l＝(W^l+1)^T*δ^i,l+1⊙σ'(z^i,l)，然后依次反向计算每个隐藏层的误差，全局平均池化层根据全连接层其误差反向计算误差δ^i,l＝upsample(δ^i,l+1)⊙σ'(z^i,l)，下一个池化层反向也是根据全局平均池化层的误差计算，卷积层根据上一个池化层的误差计算δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ'(z^i,l)，反向池化—卷积—...—池化—卷积误差计算，直至与输入层相连的Conv 1a层；

当所有神经元的反向传播误差项计算完毕后，就更新从l＝2层到输出层的L层的所有的权重W^l和偏置b^l项：更新每一卷积层网络参数时都有：更新到全连接层网络参数时有：/>α为学习速率，是一个常数。

3.根据权利要求1所述基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤31)中，具体过程如下：

对任一个类别C，每一个特征图k的数据值都有一个对应的权重w，记为b对分类基本没影响，置为0，则一个类别C对应一套全连接层权重为W₁ ^c、/>......、/>多个类别对应多套全连接层权重，然后提取出训练后3D CAM模型中所有类别的全连接层所有权重w。

4.根据权利要求1所述基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤32)中，具体过程如下：

输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即：

其中，代表对C这个类别，每一个特征图k的数据值所对应一个权重；T_k代表特征图k对应的层；

权重就代表了每个特征图对于这个类别结果的贡献程度，的值相对较大对结果影响大，值相对较小对结果影响小；

所以多个类别所对应的所有权重与全局平均池化后对应的特征图相乘，最后就得到多个类别热力图。