CN112420175A - 基于stn的自闭症大脑磁共振图像可视化方法 - Google Patents

Abstract

本发明公开了一种基于STN的自闭症大脑磁共振图像可视化方法，采集自闭症患者的大脑核磁共振图像作为训练样本，然后利用训练样本对STN模型进行训练，得到变换后的图像；根据STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化。本发明的STN模型在卷积神经网络模型的基础上对自闭症大脑磁共振图进行处理，实现自动识别检测且可视化效果良好的，较卷积神经网络模型有明显的提升，便于辅助医学研究者定量分析和研究。

Description

基于STN的自闭症大脑磁共振图像可视化方法

技术领域

本发明属于核磁共振图像病症可视化技术领域，具体涉及一种基于STN的自闭症大脑磁共振图像可视化方法。

背景技术

近些年来，计算机视觉领域已经发生了翻天覆地的变化，不断地向前发展，卷积神经网络模型已经在分类、目标检测、图像分割以及动作识别等方面取得不错的成就。卷积神经网络定义了非常强大的模型类别，但是由于最大池化在平移，缩放，旋转和更多通用变形的不变性的变换范围通常很小，仍受到了缺乏对输入图像不变性的限制。

在这种情况下，空间变换网络(STN,Spatial Transformer Network)模块可以包含到现有的卷积神经网络架构中，与卷积神经网络中的池化层不同，在池化层是固定的、局部的，空间变换器模块是一种动态机制，可以在整个特征图上(非局部)执行变换，能够主动对输入的原始图像或者卷积输出的特征图进行空间变换，具有良好的空间转换能力，空间转换网络不仅可以选择图像中最相关的区域，还可以使用标准反向传播训练，进行端到端训练,实现自动识别检测且可视化效果良好的，较卷积神经网络模型有明显的提升，便于辅助医学研究者定量分析和研究。

发明内容

本发明的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于STN的自闭症大脑磁共振图像可视化方法。

为实现上述目的，本发明所设计的基于STN的自闭症大脑磁共振图像可视化方法，具体如下：

1)采集自闭症患者的大脑核磁共振图像作为训练样本；

2)利用训练样本对STN模型进行训练，得到变换后的图像；

21)构建STN模型，并随机初始化网络参数；

构建STN模型，该STN模型包括定位网络(Localisation Network)、网格生成器(Grid Generator)、采样器(Samper)三部分，其中：Localisation Network是一个小型的卷积神经网络，输入的特征图U经过多个卷积层和池化层后，再经过全连接、回归层，生成空间变换参数θ(2x3的矩阵)，注意在图像输入STN网络前初始化该参数θ；Grid Generator利用Localisation Network产生的参数θ进行仿射变换，找到对应于输入的特征图U的空间位置；Samper利用Grid generator产生的位置信息，利用双线性插值根据输入特征图U进行采样生成输出特征图V，使得整个网络可以进行端到端反向传播训练；

22)自闭症患者的大脑核磁共振图像作为输入层；

N张自闭症患者的大脑核磁共振图像作为STN模型的输入层，输入层采用的是分辨率大小为H×L的MRI图像，H代表的是MRI图像的高度，L代表的是MRI图像的宽度；将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量

则向量

中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量

本身；

23)Localisation Network构造有m个卷积层，对步骤22)自闭症患者的大脑核磁共振图像进行卷积；

卷积层Conv1层的卷积核的个数为n个、尺寸大小F₁，步长stride记为S_C1，特征图填充圈数为padding-F₁，MRI图像作为STN网络的输入层，采用n个卷积核对步骤22)中MRI图像进行卷积，因此得到了Conv1层卷积后特征图分辨率大小为Hc₁×Lc₁，通道数为Dc₁，即：

Hc₁＝(H-F₁+2×Padding-F₁)/SC₁+1，Lc₁＝(L-F₁+2×Padding-F₁)/SC₁+1，Dc₁＝n，

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的权重为W^l(W²)，一个偏置为b^l(b²)，Conv1层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i.1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

24)Localisation Network构造有m个池化层，Pool1层对Conv1层卷积后特征图进行池化；

池化层的Pool1层采用池化核的个数为n，尺寸大小为P₁，步长Stride记为SP₁，特征图填充圈数为padding-P₁，对Conv1层所得到的每一张卷积后特征图进行降维采样，得到Pool1层池化后特征图分辨率大小H_P1×L_P1，通道数为S_P1：

Hp₁＝(Hc₁-P₁+2×padding-P₁)/SP₁+1,Lp₁＝(Lc₁-P₁+2×padding-P₁)/SP₁+1,Sp₁＝n,

Pool1层在池化Conv1层卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后，停止卷积和池化；

26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图，由于Localisation Network中生成了仿射变化所需要的六个参数值，即FC层最后输出的维度也为6，即A_θ，注意在图像输入STN网络前初始化该参数A_θ；

27)Grid Generator将步骤25)得到的特征图上的某一位置

根据步骤26)Localisation Network产生的参数A_θ进行仿射变换T_θ(G_i)得到输入特征图的某一位置

其中：θ为上一步中Localisation Network输出的参数，

为输入特征图位置i的坐标，

为输入特征图位置i的坐标；

28)Samper利用步骤27)Grid generator采样到的位置信息，使用双线性插值根据输入特征图U生成输出图像V，让整个网络可以进行端到端反向传播训练，然后将输出的图像V输送到后面的主卷积神经网络中；

29)循环训练步骤23)至步骤28)进行5000次迭代，不断更新STN模型参数，使得更能显著地表示出图像信息；

3)将STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化；

对步骤29)转换后的图像使用卷积层和池化层交替进行，更深次地提取自闭症大脑磁共振图像的特征，最后采用一层全连接层连接特征图，采用softmax分类器输出每个类别，以此实现自闭症大脑磁共振图像可视化。

4)定义整个网络(STN模型+卷积神经网络)的损失函数；

损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数：

式中：n为训练自闭症大脑磁共振图像样本的总数，x为其中的某一个样本，M为类别的数量，p_xc为神经网络输出的样本x属于类别c的预测概率，y_xc为该样本的真实标签；

5)根据损失函数并计算梯度值，对整个网络进行反向传播，从而对网络的参数进行更新；

神经网络反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δ^l＝(w^l+1)^T*δ^l+1⊙σ'(z^l)(σ为激活函数，上标’表示求导，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算)，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δ^l-1＝upsample(δ^l)⊙σ'(z^l-1)(upsample为上采样操作)，卷积层根据池化层计算的误差为δ^l-2＝δ^l-1*rot180(w^l-1)⊙σ'(z^l-2)(rot180为矩阵顺时针旋转180度操作)，再依次池化层、卷积层交替误差计算；

进一步地，从步骤28)至步骤23)反向传播的具体过程如下：

其中，Samper网络二次插值过程为：

其中：

为输入特征图U通道c中位置为(a,b)的值，V_i ^c为输出特征图V通道c中位置为

的值；

根据交叉熵损失函数进行到Samper网络的反向传播时，有：

根据交叉熵损失函数从Samper网络的反向传播到Grid Generator网络时，有：

根据交叉熵损失函数从Grid Generator网络的反向传播到LocalisationNetwork网络时，同理上述的卷积神经网络反向传播；

6)循环步骤22)至步骤5)进行多次迭代，不断更新整个网络的参数，直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代确定了权值，阈值以及STN网络的参数值，整个网络最终也实现自闭症大脑磁共振图像可视化；

与现有技术相比，本发明具有以下优点：本发明基于STN的自闭症大脑磁共振图像可视化方法，STN模型在卷积神经网络模型的基础上对自闭症大脑磁共振图进行处理，实现自动识别检测且可视化效果良好的，较卷积神经网络模型有明显的提升，便于辅助医学研究者定量分析和研究。

附图说明

图1是本发明中STN模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

一种基于STN的自闭症大脑磁共振图像可视化方法，具体方法如下：

1)采集自闭症患者的大脑核磁共振图像作为训练样本；

2)利用训练样本对STN模型进行训练，得到变换后的图像；

21)构建STN模型，并随机初始化网络参数；

构建STN模型，如图1，该STN模型包括定位网络(Localisation Network)、网格生成器(Grid Generator)、采样器(Samper)三部分，其中：Localisation Network是一个小型的卷积神经网络，输入的特征图U经过多个卷积层和池化层，再经过全连接、回归层，生成空间变换参数θ(2x3的矩阵)，注意在图像输入STN网络前初始化该参数θ；Grid Generator利用Localisation Network产生的参数θ进行仿射变换，找到对应于输入的特征图U的空间位置；Samper利用Grid generator产生的位置信息，利用双线性插值根据输入特征图U进行采样生成输出图像V，使得整个网络可以进行端到端反向传播训练；

22)自闭症患者的大脑核磁共振图像作为输入层；

N张自闭症患者的大脑核磁共振图像作为STN模型的输入层，输入层采用的是分辨率大小为H×L的MRI图像，H代表的是MRI图像的高度，L代表的是MRI图像的宽度，将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量

则向量

中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量

本身；

23)Localisation Network构造有m个卷积层，对步骤22)自闭症患者的大脑核磁共振图像进行卷积；

卷积层Conv1层的卷积核的个数为n个、尺寸大小F₁，步长stride记为S_C1，特征图填充圈数为padding-F₁，MRI图像作为STN网络的输入层，采用n个卷积核对步骤22)中MRI图像进行卷积，因此得到了Conv1层卷积后特征图分辨率大小为Hc₁×Lc₁，通道数为Dc₁，即：

Hc₁＝(H-F₁+2×Padding-F₁)/SC₁+1，Lc₁＝(L-F₁+2×Padding-F₁)/SC₁+1，Dc₁＝n，

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的权重为W^l(W²)，一个偏置为b^l(b²)，Conv1层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i.1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

24)Localisation Network构造有m个池化层，Pool1层对Conv1层卷积后特征图进行池化；

池化层的Pool1层采用池化核的个数为n，尺寸大小为P₁，步长Stride记为SP₁，特征图填充圈数为padding-P₁，对Conv1层所得到的每一张卷积后特征图进行降维采样，得到Pool1层池化后特征图分辨率大小HP₁×L_P1，通道数为S_P1：

Hp₁＝(Hc₁-P₁+2×padding-P₁)/SP₁+1,Lp₁＝(Lc₁-P₁+2×padding-P₁)/SP₁+1,Sp₁＝n,

Pool1层在池化Conv1层卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后，停止卷积和池化；

26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图，由于Localisation Network中生成了仿射变化所需要的六个参数值，即FC层最后输出的维度也为6，即A_θ，注意在图像输入STN网络前初始化该参数A_θ；

27)Grid Generator将步骤25)得到的特征图上的某一位置

根据步骤26)Localisation Network产生的参数A_θ进行仿射变换T_θ(G_i)得到输入特征图的某一位置

其中：θ为上一步中Localisation Network输出的参数，

为输入特征图位置i的坐标，

为输入特征图位置i的坐标；

28)Samper利用步骤27)Grid generator采样到的位置信息，使用双线性插值根据输入特征图U生成输出图像V，让整个网络可以进行端到端反向传播训练，然后将输出的图像V输送到后面的主卷积神经网络中；

29)循环训练步骤23)至步骤28)进行5000次迭代，不断更新STN模型参数，使得更能显著地表示出图像信息；

3)将STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化；

对步骤29)转换后的图像使用卷积层和池化层交替进行，更深次地提取自闭症大脑磁共振图像的特征，最后采用一层全连接层连接特征图，采用softmax分类器输出每个类别，以此实现自闭症大脑磁共振图像可视化；

4)定义整个网络(STN模型+卷积神经网络)的损失函数；

损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数：

式中：n为训练自闭症大脑磁共振图像样本的总数，x为其中的某一个样本，M为类别的数量，p_xc为神经网络输出的样本x属于类别c的预测概率，y_xc为该样本的真实标签；

5)根据损失函数并计算梯度值，对整个网络进行反向传播，从而对网络的参数进行更新；

神经网络反向传播过程中，在计算每个神经元的误差项δ时，首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ，即当前层的误差用下一层的误差来表示；

反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δ^l＝(w^l+1)^T*δ^l+1⊙σ'(z^l)，σ为激活函数，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δ^l-1＝upsample(δ^l)⊙σ'(z^l-1)，upsample为上采样操作，卷积层根据池化层计算的误差为δ^l-2＝δ^l-1*rot180(w^l-1)⊙σ'(z^l-2)，rot180为矩阵顺时针旋转180度操作，再依次池化层、卷积层交替误差计算。

进一步地，从步骤28)至步骤23)反向传播的具体过程如下：

其中，Samper网络二次插值过程为：

其中：

为输入特征图U通道c中位置为(a,b)的值，V_i ^c为输出特征图V通道c中位置为

的值；

根据交叉熵损失函数进行到Samper网络的反向传播时，有：

根据交叉熵损失函数从Samper网络的反向传播到Grid Generator网络时，有：

根据交叉熵损失函数从Grid Generator网络的反向传播到LocalisationNetwork网络时，同理上述的卷积神经网络反向传播；

6)循环步骤22)至步骤5)进行多次迭代，不断更新整个网络的参数，直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代确定了权值，阈值以及STN网络的参数值，整个网络最终也实现自闭症大脑磁共振图像可视化；

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述可视化方法具体如下：

1)采集自闭症患者的大脑核磁共振图像作为训练样本；

2)利用训练样本对STN模型进行训练，得到变换后的图像；

3)将STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化；

对变换后的图像使用卷积层和池化层交替进行，更深次地提取自闭症大脑磁共振图像的特征，最后采用一层全连接层连接特征图，采用softmax分类器输出每个类别，以此实现自闭症大脑磁共振图像可视化；

4)定义整个网络，即STN模型和卷积神经网络的损失函数；

损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数：

式中：n为训练自闭症大脑磁共振图像样本的总数，x为其中的某一个样本，M为类别的数量，p_xc为神经网络输出的样本x属于类别c的预测概率，y_xc为该样本的真实标签；

5)根据损失函数并计算梯度值，对整个网络进行反向传播，从而对整个网络的参数进行更新；

6)循环步骤2)至步骤5)进行多次迭代，不断更新整个网络的参数，直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代，确定权值，阈值以及STN模型的参数值，最终实现自闭症大脑磁共振图像可视化。

2.如权利要求1所述的一种基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：步骤2)的具体实现方式如下：

21)构建STN模型，并随机初始化网络参数；

构建STN模型，该STN模型包括定位网络Localisation Network、网格生成器GridGenerator、采样器Samper三部分，其中：Localisation Network是一个小型的卷积神经网络，输入的特征图U经过多个卷积层和池化层，再经过全连接、回归层，生成空间变换参数θ，并初始化该参数θ；Grid Generator利用Localisation Network产生的参数θ进行仿射变换，找到对应于输入的特征图U的空间位置；Samper利用Grid generator产生的位置信息，利用双线性插值根据输入特征图U进行采样生成输出图像V，使得整个网络进行端到端反向传播训练；

22)自闭症患者的大脑核磁共振图像作为输入层；

23)Localisation Network构造有m个卷积层，对步骤22)自闭症患者的大脑核磁共振图像进行卷积；

24)Localisation Network构造有m个池化层，对步骤23)卷积后特征图进行池化；

25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后，停止卷积和池化；

26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图，生成了仿射变化所需要的参数A_θ；

27)Grid Generator将步骤25)得到的特征图上的某一位置

根据步骤26)Localisation Network产生的参数A_θ进行仿射变换T_θ(G_i)得到输入特征图的某一位置

其中：θ为上一步中Localisation Network输出的参数，

为输入特征图位置i的坐标，

为输入特征图位置i的坐标；

28)Samper利用步骤27)Grid generator采样到的位置信息，使用双线性插值根据输入特征图U生成输出图像V，让整个网络进行端到端反向传播训练，然后将输出的图像V输送到后面的主卷积神经网络中；

29)循环训练步骤23)至步骤28)进行若干次迭代，不断更新STN模型参数，使得更能显著地表示出图像信息。

3.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：步骤22)中，将N张自闭症患者的大脑核磁共振图像作为STN模型的输入层，输入层采用的是分辨率大小为H×L的MRI图像，H代表的是MRI图像的高度，L代表的是MRI图像的宽度，将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量

则向量

中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量

本身。

4.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述步骤23)中，具体过程如下：

卷积层Conv1层的卷积核的个数为n个、尺寸大小F₁，步长stride记为S_C1，特征图填充圈数为padding-F₁，MRI图像作为STN网络的输入层，采用n个卷积核对步骤22)中MRI图像进行卷积，因此得到了Conv1层卷积后特征图分辨率大小为Hc₁×Lc₁，通道数为Dc₁，即：

Hc₁＝(H-F₁+2×Padding-F₁)/SC₁+1，Lc₁＝(L-F₁+2×Padding-F₁)/SC₁+1，Dc₁＝n，

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重

和偏置b^l，其中

代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的权重为W^l，一个偏置为b^l，Conv1层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i.1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值。

5.根据权利要求4所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述步骤24)中，具体过程如下：

池化层的Pool1层采用池化核的个数为n，尺寸大小为P₁，步长Stride记为Sp₁，特征图填充圈数为padding-P₁，对Conv1层所得到的每一张卷积后特征图进行降维采样，得到Pool1层池化后特征图分辨率大小Hp₁×Lp₁，通道数为Sp₁：

Hp₁＝(Hc₁-P₁+2×padding-P₁)/SP₁+1,Lp₁＝(Lc₁-P₁+2×padding-P₁)/SP₁+1,Sp₁＝n,

Pool1层在池化Conv1层卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)。

6.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述步骤5)中，具体过程如下：

反向传播过程中，更新误差项δ时首先从卷积神经网络的输出层开始，其中全连接层根据输出层计算的误差为δ^l＝(w^l+1)^T*δ^l+1⊙σ'(z^l)，σ为激活函数，z为临时变量，符号⊙为Hadamard乘积，用于矩阵或向量之间点对点的乘法运算，然后依次反向计算每个隐藏层的误差，即池化层根据全连接层计算的误差为δ^l-1＝upsample(δ^l)⊙σ'(z^l-1)，upsample为上采样操作，卷积层根据池化层计算的误差为δ^l-2＝δ^l-1*rot180(w^l-1)⊙σ'(z^l-2)，rot180为矩阵顺时针旋转180度操作，再依次池化层、卷积层交替误差计算。

7.根据权利要求6所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：从步骤28)至步骤23)反向传播的具体过程如下：

其中，Samper网络二次插值过程为：

其中：

为输入特征图U通道c中位置为(a,b)的值，

为输出特征图V通道c中位置为

的值；

根据交叉熵损失函数进行到Samper网络的反向传播时，有：

根据交叉熵损失函数从Samper网络的反向传播到Grid Generator网络时，有：

根据交叉熵损失函数从Grid Generator网络的反向传播到Localisation Network网络时，与卷积神经网络的反向传播过程相同。

Images