CN112420174A - 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 - Google Patents

基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 Download PDF

Info

Publication number
CN112420174A
CN112420174A CN202011215985.1A CN202011215985A CN112420174A CN 112420174 A CN112420174 A CN 112420174A CN 202011215985 A CN202011215985 A CN 202011215985A CN 112420174 A CN112420174 A CN 112420174A
Authority
CN
China
Prior art keywords
layer
pool
convolution
grad
cam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011215985.1A
Other languages
English (en)
Inventor
柯丰恺
刘欢平
赵大兴
孙国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202011215985.1A priority Critical patent/CN112420174A/zh
Publication of CN112420174A publication Critical patent/CN112420174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于3D Grad‑CAM的自闭症大脑磁共振图像可视化方法，采集自闭症大脑磁共振图像作为训练样本‑利用训练样本对3D Grad‑CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值‑根据不同的磁共振图像创建可视化热度图。3D Grad‑CAM在传统CAM模型的基础上对自闭症大脑磁共振图进行处理，实现自动识别检测且可视化效果良好的，较CAM算法有明显的提升，也很好地对反卷积和导向反向传播对类别不敏感问题作出了解释，便于辅助医学研究者定量分析和研究。

Description

基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法
技术领域
本发明属于核磁共振图像病症可视化技术领域，具体涉及一种基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法。
背景技术
自从深度学习(Deep Learning)在Science被提出以来，深度学习重新回到大众的视野，伴随着计算机技术的发展，越来越被广泛的关注和研究，新的深度学习网络不断地被提出和改进，网络也向着更复杂、更深的方向前进。逐渐地，神经网络逐渐在计算机视觉、音视频处理、自然语言处理、精确导航等各个领域取得了越来越大的成就，表现出了在准确率上的良好性能。
CNN模型可解释问题即CNN的可视化问题在学术界很早就开始被研究，例如两个经典的方法：反卷积(Deconvolution)和导向反向传播(Guided-backpropagation)。虽然通过它们能在这些反向传播的图像上看到卷积层学习到的图像类别的轮廓，但是对类别并不敏感，基本不能解释分类的结果。而类激活映射网络(CAM，class activation map)模型通常与卷积神经网络结合在一起使用，它将神经网络经过多次卷积和池化之后的特征图进行了综合，以单个神经元的形式进行配比，以热度图的形式显示相应感兴趣的区域，能够很好实现可视化，但缺点很明显，它使用GAP替换了最后的全连接层，改变了模型结构，从而导致需要重新训练模型，因此训练的成本非常高，这大大限制了它的使用场景。
发明内容
本发明的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法。梯度加权的类激活映射网络Grad-CAM模型克服了这个缺点，不需要修改网络，且可以加载到任意网络架构上，能够更好地实现可视化，从识别区域的准确性和意义来看，定量分析更准确。
为实现上述目的，本发明所设计的基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法，具体如下：
1)采集自闭症患者的大脑核磁共振图像作为训练样本；
2)利用训练样本对3D Grad-CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；
21)构建3D Grad-CAM模型，并随机初始化网络参数；
构建3D Grad-CAM模型，该3D Grad-CAM模型包括输入层、卷积层、池化层、全连接层及输出层，并对3D Grad-CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值为一个随机值；
22)3D Grad-CAM网络第一次正向迭代；
23)3D Grad-CAM网络第一次反向迭代；
24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重Wl，偏置bl的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重Wl和偏置bl；
25)采用一层全连接层连接步骤24)后特征图所对应的数据值形成一个特征向量，使用SoftMax分类器将特征向量分类输送至输出层，并输出每个类别概率分数；
3)根据不同的磁共振图像创建可视化热度图；
31)计算特征图的加权权重，获得可视化热度图；
32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3DGrad-CAM的自闭症大脑磁共振图像可视化。
进一步地，所述步骤22)中，具体过程如下：
221)自闭症患者的大脑核磁共振图像作为输入层；
n张自闭症患者的大脑核磁共振图像堆叠形成一个3D MRI图像，分辨率大小为H×L×D的3D MRI图像，H代表图像的高度，L代表图像的宽度，D代表图像的深度，将该3D MRI图像作为3D Grad-CAM模型的输入层，把MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量
Figure BDA0002760366980000021
则向量
Figure BDA0002760366980000022
中的每个元素xi的值即对应着输入层对应的每个神经元i，神经元的输出值ai,1也是输入向量
Figure BDA0002760366980000023
本身；
222)卷积层Conv 1a层采用N个大小为F0的三维卷积核对步骤1)自闭症患者的大脑核磁共振图像进行三维卷积；
卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F0，步长stride记为SC1，特征图填充圈数为padding-F1，3D MRI图像作为3D Grad-CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到Conv 1a卷积后的特征图数量为N，分辨率大小为Hc1×Lc1×Dc1，即：
Hc1＝(H-F0+2×Padding-F1)/SC1+1
Lc1＝(L-F0+2×Padding-F1)/SC1+1
Dc1＝(D-F0+2×Padding-F1)/SC1+1
由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重
Figure BDA0002760366980000031
和偏置bl，其中
Figure BDA0002760366980000032
代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为Wl，bl代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为Wl(W2)，一个偏置为bl(b2)，Conv 1a层的输出为ai,2＝σ(zi,2)＝σ(W2ai,1+b2)，其中σ为激励函数Relu，ai,l代表第l层的第i个神经元输出值；
223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化；
池化层的Pool 1层采用池化核尺寸大小为p0，步长Stride记为SP1，特征图填充圈数为padding-P1，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool1层池化后的特征图数量为N，分辨率大小Hp1×Lp1×Sp1，即：
Hp1＝(Hc1-p0+2×Padding-P1)/SP1+1
Lp1＝(Lc1-p0+2×Padding-P1)/SP1+1
Dp1＝(Dc1-p0+2×Padding-P1)/SP1+1
Pool 1层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,3＝pool(ai,2)；
224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积；
卷积层Conv 2a层的三维卷积核的个数为2N个、尺寸大小F0，步长stride记为SC2，特征图填充圈数为padding-F2，对Pool 1层每一张池化后特征图进行二次三维卷积，得到Conv 2a层卷积后的特征图数量为2N，分辨率大小为Hc2×Lc2×Sc2，即：
Hc2＝(Hc1-F0+2×Padding-F2)/SC2+1
Lc2＝(Lc1-F0+2×Padding-F2)/SC2+1
Dc2＝(Dc1-F0+2×Padding-F2)/SC2+1
Conv 2a层采用2N个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重Wl(W2)，以及一个偏置bl(b2)，Conv 2a层的输出为ai,4＝σ(zi,4)＝σ(W4*ai,3+b4)；
225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化；
池化层的Pool 2层采用池化核尺寸大小为p0，步长stride记为SP2，特征图填充圈数为padding-P2，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool2层池化后的特征图数量为2N，分辨率大小Hp2×Lp2×Sp2，即：
Hp2＝(Hc2-p0+2×Padding-P2)/SP2+1
Lp2＝(Lc2-p0+2×Padding-P2)/SP2+1
Dp2＝(Dc2-p0+2×Padding-P2)/SP2+1
在Pool 2层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,5＝pool(ai,4)；
226)交替循环步骤224)和步骤225)多次直至完成预设的卷积、池化层数后，停止卷积和池化。
进一步地，所述步骤23)中，具体过程如下：
神经网络反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δl＝(wl+1)T*δl+1⊙σ'(zl)(σ为激活函数，上标’表示求导，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算)，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δl-1＝upsample(δl)⊙σ'(zl-1)(upsample为上采样操作)，卷积层根据池化层计算的误差为δl-2＝δl-1*rot180(wl-1)⊙σ'(zl-2)(rot180为矩阵顺时针旋转180度操作)，再依次池化层、卷积层交替误差计算；
进一步地，所述步骤31)中，具体过程如下：
为了得到任一个类别C的类激活图
Figure BDA0002760366980000041
首先需要计算类别C的得分梯度，即使用步骤25)中对应类别C的分类得分yC对最后一个卷积层输出的所有特征层Ak进行偏导，即
Figure BDA0002760366980000051
对这些梯度信息进行全局平均池化来获得一组权重
Figure BDA0002760366980000052
Figure BDA0002760366980000053
式(1)中：
Figure BDA0002760366980000054
为第k特征图对应类别C的加权权重，Z为特征图的个数，
Figure BDA0002760366980000055
为第k个特征图中(i，j)位置的像素值，yC为对应类别C的分类得分。
接着通过对各个特征图加权求和，因为只关注对分类结果作出积极影响的像素，以此来增加yC，而消极影响可能属于图像其他类别，故对加权结果取一个激活函Relu，可获得不同的Grad-CAM热力图：
Figure BDA0002760366980000056
式(2)中：
Figure BDA0002760366980000057
为对应类别C的激活图，Ak为第k个特征图；
32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3DGrad-CAM的自闭症大脑磁共振图像可视化。
通过以上技术方案可知，Grad-CAM的基本思路和CAM是一致的，都是通过得到每对特征图对应的权重，最后求一个加权和；两者主要区别在于
Figure BDA0002760366980000058
求权重的过程，Grad-CAM特征加权系数是反向传播得到的，而CAM特征加权系数是分类器的权重。
与现有技术相比，本发明具有以下优点：本发明基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法，在传统CAM模型的基础上对自闭症大脑磁共振图进行处理，实现自动识别检测且可视化效果良好的，较CAM算法有明显的提升，也很好地对反卷积和导向反向传播对类别不敏感问题作出了解释，便于辅助医学研究者定量分析和研究。
附图说明
图1是本发明中3D Grad-CAM模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
一种基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法，具体方法如下：
1)采集自闭症大脑磁共振图像作为训练样本；
2)利用训练样本对3D Grad-CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；
21)构建3D Grad-CAM模型，并随机初始化网络参数；
构建3D Grad-CAM模型，该3D Grad-CAM模型包括输入层、卷积层、池化层、全连接层及输出层，并对3D Grad-CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值为一个随机值；
22)3D Grad-CAM第一次正向迭代；
221)自闭症患者的大脑核磁共振图像作为输入层；
n张自闭症患者的大脑核磁共振图像堆叠形成一个3D MRI图像，分辨率大小为H×L×D的3D MRI图像，H代表图像的高度，L代表图像的宽度，D代表图像的深度，将该3D MRI图像作为3D Grad-CAM模型的输入层，把MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量
Figure BDA0002760366980000061
则向量
Figure BDA0002760366980000062
中的每个元素xi的值即对应着输入层对应的每个神经元i，神经元的输出值ai,1也是输入向量
Figure BDA0002760366980000063
本身；
222)卷积层Conv 1a层采用N(如20)个大小为F0(如5×5×5)的三维卷积核对步骤1)的自闭症患者的大脑核磁共振图像进行三维卷积；
卷积层作为整个3D Grad-CAM的核心层，最重要的特点就是在整个3D MRI图像中卷积核共享权值，这样大大减少了参数和计算量；卷积层Conv 1a层的三维卷积核的个数为N(如20)个、尺寸大小F0(如5×5×5)，步长stride记为SC1(如1)，为了保持卷积后输出的三维特征图大小与输入层的图像大小保持不变，也保持了图像边界信息，特征图填充圈数为padding-F1(如2)，3D MRI图像作为3D Grad-CAM网络的输入层，采用N(如20)个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到的特征图数量为N(如20)，分辨率大小为Hc1×Lc1×Dc1(如32×32×32)，即：
Hc1＝(H-F0+2×Padding-F1)/SC1+1
Lc1＝(L-F0+2×Padding-F1)/SC1+1
Dc1＝(D-F0+2×Padding-F1)/SC1+1
由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重
Figure BDA0002760366980000064
和偏置bl，其中
Figure BDA0002760366980000065
代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为Wl，bl代表从l-1层到l层的偏置；因此Conv 1a层在采用N(如20)个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为Wl(W2)，一个偏置为bl(b2)，Conv 1a(l＝2)层的输出为ai,2＝σ(zi,2)＝σ(W2ai,1+b2)，其中σ为激励函数Relu，ai,l代表第l层的第i个神经元输出值；
223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化；
池化层的Pool 1层采用池化核尺寸大小为p0(如3×3×3)，步长Stride记为SP1(如1)，特征图填充圈数为padding-P1(如1)，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool 1池化后的特征图数量为N(如20)，分辨率大小Hp1×Lp1×Sp1(如32×32×32)，即：
Hp1＝(Hc1-p0+2×Padding-P1)/SP1+1
Lp1＝(Lc1-p0+2×Padding-P1)/SP1+1
Dp1＝(Dc1-p0+2×Padding-P1)/SP1+1
Pool 1(l＝3)层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,3＝pool(ai,2)；
224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积；
卷积层Conv 2a层的三维卷积核的个数为2N(如40)个、尺寸大小F0为H0×L0×D0(如5×5×5)，步长stride记为SC2(如1)，特征图填充圈数为padding-F2(如2)，对Pool 1层每一张池化后特征图进行二次三维卷积，得到Conv 2a层卷积后的特征图数量为2N(如40)个，分辨率大小为Hc2×Lc2×Sc2(如32×32×32)，即：
Hc2＝(Hc1-F0+2×Padding-F2)/SC2+1
Lc2＝(Lc1-F0+2×Padding-F2)/SC2+1
Dc2＝(Dc1-F0+2×Padding-F2)/SC2+1
Conv 2a(l＝4)层采用N(如20)个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重Wl(W2)，以及一个偏置bl(b2)，Conv 2a(l＝4)层的输出为ai,4＝σ(zi,4)＝σ(W4*ai,3+b4)；
225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化；
池化层的Pool 2层采用池化核尺寸大小为p0(如3×3×3)，步长Stride记为SP2(如2)，特征图填充圈数为padding-P2(如0)，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool 2池化后的特征图数量2N(如40)张，分辨率大小Hp2×Lp2×Sp2(如16×16×16)，即：
Hp2＝(Hc2-p0+2×Padding-P2)/SP2+1
Lp2＝(Lc2-p0+2×Padding-P2)/SP2+1
Dp2＝(Dc2-p0+2×Padding-P2)/SP2+1
在Pool 2(l＝5)层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,5＝pool(ai,4)；
226)交替循环步骤224)和步骤225)多次直至完成预设的卷积、池化层数后，停止卷积和池化，本次操作采用7次卷积和5次池化，如下：
Figure BDA0002760366980000081
23)3D Grad-CAM网络第一次反向迭代；
神经网络反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δl＝(wl+1)T*δl+1⊙σ'(zl)(σ为激活函数，上标’表示求导，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算)，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δl-1＝upsample(δl)⊙σ'(zl-1)(upsample为上采样操作)，卷积层根据池化层计算的误差为δl-2＝δl-1*rot180(wl-1)⊙σ'(zl-2)(rot180为矩阵顺时针旋转180度操作)，再依次池化层、卷积层交替误差计算；
24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重Wl，偏置bl的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重Wl和偏置bl；
25)采用一层全连接层连接步骤24)后特征图所对应的数据值形成一个特征向量，使用SoftMax分类器将特征向量分类输送至输出层并输出每个类别概率分数；
步骤3)根据不同的磁共振图像的特征图计算加权权重，获得可视化热度图；
31)计算特征图的加权权重，获得可视化热度图；
为了得到任一个类别C的类激活图
Figure BDA0002760366980000091
首先需要计算类别C的得分梯度，即使用步骤25)中对应类别C的分类得分yC对最后一个卷积层输出的所有特征层Ak进行偏导，即
Figure BDA0002760366980000092
对这些梯度信息进行全局平均池化来获得一组权重
Figure BDA0002760366980000093
Figure BDA0002760366980000094
式(1)中：
Figure BDA0002760366980000095
为第k特征图对应类别C的加权权重，Z为特征图的个数，
Figure BDA0002760366980000096
为第k个特征图中(i，j)位置的像素值，yC为对应类别C的分类得分；
接着通过对各个特征图加权求和，因为只关注对分类结果作出积极影响的像素，以此来增加yC，而消极影响可能属于图像其他类别，故对加权结果取一个激活函Relu，可获得不同的Grad-CAM热力图：
Figure BDA0002760366980000097
式(2)中：
Figure BDA0002760366980000101
为对应类别C的激活图，Ak为第k个特征图；
32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3DGrad-CAM的自闭症大脑磁共振图像可视化。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于3D Grad-CAM的大脑核磁共振异常图像的可视化方法，其特征在于，所述可视化方法具体如下：
1)采集自闭症患者的大脑核磁共振图像作为训练样本；
2)利用训练样本对3D Grad-CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；
21)构建3D Grad-CAM模型，并随机初始化网络参数；
构建3D Grad-CAM模型，该3D Grad-CAM模型包括输入层、卷积层、池化层、全连接层及输出层，并对3D Grad-CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值为随机值；
22)3D Grad-CAM网络第一次正向迭代；
23)3D Grad-CAM网络第一次反向迭代；
24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重Wl，偏置bl的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重Wl和偏置bl；
25)采用全连接层连接步骤24)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层，并输出多个类别；
步骤3)根据不同的磁共振图像创建可视化热度图；
31)计算特征图的加权权重，获得可视化热度图；
为了得到任一个类别C的类激活图
Figure FDA0002760366970000011
首先需要计算类别C的得分梯度，即使用步骤25)中对应类别C的分类得分yC对最后一个卷积层输出的所有特征层Ak进行偏导，即
Figure FDA0002760366970000012
对这些梯度信息进行全局平均池化来获得一组权重
Figure FDA0002760366970000021
Figure FDA0002760366970000022
式(1)中：
Figure FDA0002760366970000023
为第k特征图对应类别C的加权权重，Z为特征图的个数，
Figure FDA0002760366970000024
为第k个特征图中(i，j)位置的像素值，yC为对应类别C的分类得分；
接着通过对各个特征图加权求和，并对加权结果取一个激活函Relu，获得不同的Grad-CAM热力图：
Figure FDA0002760366970000025
式(2)中：
Figure FDA0002760366970000026
为对应类别C的激活图，Ak为第k个特征图；
32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3DGrad-CAM的自闭症大脑磁共振图像可视化。
2.根据权利要求1所述基于3D Grad-CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤22)中，具体过程如下：
221)自闭症患者的大脑核磁共振图像作为输入层；
n张自闭症患者的大脑核磁共振图像堆叠形成一个3D MRI图像，分辨率大小为H×L×D的3D MRI图像，H代表图像的高度，L代表图像的宽度，D代表图像的深度，将该3D MRI图像作为3D Grad-CAM模型的输入层，把MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量
Figure FDA0002760366970000027
则向量
Figure FDA0002760366970000028
中的每个元素xi的值即对应着输入层对应的每个神经元i，神经元的输出值ai,1也是输入向量
Figure FDA0002760366970000029
本身；
222)卷积层Conv 1a层采用N个大小为F0为H0×L0×D0的三维卷积核对步骤1)的自闭症患者的大脑核磁共振图像进行三维卷积；
卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F0为H0×L0×D0，步长stride记为SC1，特征图填充圈数为padding-F1，3D MRI图像作为3D Grad-CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，得到Conv 1a卷积后的特征图数量为N，分辨率大小为Hc1×Lc1×Dc1，即：
Hc1＝(H-F0+2×Padding-F1)/SC1+1
Lc1＝(L-F0+2×Padding-F1)/SC1+1
Dc1＝(D-F0+2×Padding-F1)/SC1+1
由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重
Figure FDA0002760366970000031
和偏置bl，其中
Figure FDA0002760366970000032
代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，记为Wl，bl代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，得到该卷积层的神经元连接到输入层神经元的权重为Wl，一个偏置为bl，Conv 1a层的输出为ai,2＝σ(zi,2)＝σ(W2ai,1+b2)，其中σ为激励函数Relu，ai,l代表第l层的第i个神经元输出值；
223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化；
池化层的Pool 1层采用池化核尺寸大小为p0，步长Stride记为SP1，特征图填充圈数为padding-P1，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool 1层池化后的特征图数量为N，分辨率大小Hp1×Lp1×Sp1的图像：
Hp1＝(Hc1-p0+2×Padding-P1)/SP1+1
Lp1＝(Lc1-p0+2×Padding-P1)/SP1+1
Dp1＝(Dc1-p0+2×Padding-P1)/SP1+1
Pool 1层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,3＝pool(ai,2)；
224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积；
卷积层Conv 2a层的三维卷积核的个数为2N个、尺寸大小F0为H0×L0×D0，步长stride记为SC2，特征图填充圈数为padding-F2，对Pool 1层每一张池化后特征图进行二次三维卷积，得到Conv 2a层卷积后的特征图2N个，分辨率大小为Hc2×Lc2×Sc2，即：
Hc2＝(Hc1-F0+2×Padding-F2)/SC2+1
Lc2＝(Lc1-F0+2×Padding-F2)/SC2+1
Dc2＝(Dc1-F0+2×Padding-F2)/SC2+1
Conv 2a层采用2N个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重Wl，以及一个偏置bl，Conv 2a层的输出为ai,4＝σ(zi,4)＝σ(W4*ai,3+b4)；
225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化；
池化层的Pool 2层采用池化核尺寸大小为p0，步长stride记为SP2，特征图填充圈数为padding-P2，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool 2层池化后的特征图数量为2N，分辨率大小Hp2×Lp2×Sp2，即：
Hp2＝(Hc2-p0+2×Padding-P2)/SP2+1
Lp2＝(Lc2-p0+2×Padding-P2)/SP2+1
Dp2＝(Dc2-p0+2×Padding-P2)/SP2+1
在Pool 2层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为ai,5＝pool(ai,4)；
226)交替循环步骤224)和步骤225)多次直至完成预设的卷积、池化层数后，停止卷积和池化。
3.根据权利要求1所述基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法，其特征在于：所述步骤23)中，具体过程如下：
神经网络反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δl＝(wl+1)T*δl+1⊙σ'(zl)，σ为激活函数，上标’表示求导，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δl-1＝upsample(δl)⊙σ'(zl-1)，upsample为上采样操作，卷积层根据池化层计算的误差为δl-2＝δl-1*rot180(wl-1)⊙σ'(zl-2)，rot180为矩阵顺时针旋转180度操作，再依次池化层、卷积层交替误差计算。
CN202011215985.1A 2020-11-04 2020-11-04 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 Pending CN112420174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215985.1A CN112420174A (zh) 2020-11-04 2020-11-04 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215985.1A CN112420174A (zh) 2020-11-04 2020-11-04 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法

Publications (1)

Publication Number Publication Date
CN112420174A true CN112420174A (zh) 2021-02-26

Family

ID=74827683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215985.1A Pending CN112420174A (zh) 2020-11-04 2020-11-04 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法

Country Status (1)

Country Link
CN (1) CN112420174A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906867A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统
CN113476029A (zh) * 2021-06-25 2021-10-08 陕西尚品信息科技有限公司 一种基于压缩感知的核磁共振成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN110910366A (zh) * 2019-11-18 2020-03-24 湖北工业大学 基于3d cam的大脑核磁共振异常图像的可视化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN110910366A (zh) * 2019-11-18 2020-03-24 湖北工业大学 基于3d cam的大脑核磁共振异常图像的可视化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SELVARAJU R R,COGSWELL M,DAS A, ET AL: "《Grad-CAM:visual explanations from deep networks via gradient-based localization》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
罗国婷等: "基于密集卷积网络的X线气胸检测与定位", 《计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906867A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统
CN112906867B (zh) * 2021-03-03 2023-09-15 安徽省科亿信息科技有限公司 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统
CN113476029A (zh) * 2021-06-25 2021-10-08 陕西尚品信息科技有限公司 一种基于压缩感知的核磁共振成像方法
CN113476029B (zh) * 2021-06-25 2024-02-02 陕西尚品信息科技有限公司 一种基于压缩感知的核磁共振成像方法

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
Ghosh et al. Improved U-Net architecture with VGG-16 for brain tumor segmentation
CN110378381A (zh) 物体检测方法、装置和计算机存储介质
Khagi et al. Pixel-label-based segmentation of cross-sectional brain MRI using simplified SegNet architecture-based CNN
CN109410195B (zh) 一种磁共振成像脑分区方法及系统
CN112420174A (zh) 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法
CN112784782B (zh) 一种基于多视角双注意网络的三维物体识别方法
CN113951830B (zh) 一种基于3d注意力卷积与自监督学习的脑疾病分类方法
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN114332462A (zh) 一种针对大脑病变融入注意力机制的mri分割方法
CN112489119B (zh) 一种增强可靠性的单目视觉定位方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Cahall et al. Dilated inception U-net (DIU-net) for brain tumor segmentation
CN110910366B (zh) 基于3d cam的大脑核磁共振异常图像的可视化方法
CN116579975A (zh) 一种卷积神经网络的脑龄预测方法及系统
Li et al. Robust blood cell image segmentation method based on neural ordinary differential equations
CN114820450A (zh) 适宜李氏人工肝治疗的ct血管造影图像分类方法
Kumar et al. Brain tumor detection using convolution neural network with data augmentation
Raj et al. Object detection in live streaming video using deep learning approach
Taher et al. Automatic cerebrovascular segmentation methods-a review
Simunic et al. A genetic search-based partial image matching
US20220036136A1 (en) Computer-implemented method for parametrizing a function for evaluating a medical image dataset
Li et al. Deformable medical image registration based on unsupervised generative adversarial network integrating dual attention mechanisms
CN110992316B (zh) 基于2d cam的大脑核磁共振异常图像的可视化方法
CN114677537B (zh) 一种基于多序列磁共振影像的胶质瘤分级分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226