CN112420175A - 基于stn的自闭症大脑磁共振图像可视化方法 - Google Patents
基于stn的自闭症大脑磁共振图像可视化方法 Download PDFInfo
- Publication number
- CN112420175A CN112420175A CN202011217059.8A CN202011217059A CN112420175A CN 112420175 A CN112420175 A CN 112420175A CN 202011217059 A CN202011217059 A CN 202011217059A CN 112420175 A CN112420175 A CN 112420175A
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- stn
- magnetic resonance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 44
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 44
- 210000004556 brain Anatomy 0.000 title claims abstract description 32
- 238000007794 visualization technique Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012800 visualization Methods 0.000 claims abstract description 14
- 210000002569 neuron Anatomy 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 33
- 230000004807 localization Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000002490 cerebral effect Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 claims 12
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008278 dynamic mechanism Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于STN的自闭症大脑磁共振图像可视化方法,采集自闭症患者的大脑核磁共振图像作为训练样本,然后利用训练样本对STN模型进行训练,得到变换后的图像;根据STN模型训练变换后的图像输送至卷积神经网络训练,实现对自闭症患者的大脑核磁共振图像的可视化。本发明的STN模型在卷积神经网络模型的基础上对自闭症大脑磁共振图进行处理,实现自动识别检测且可视化效果良好的,较卷积神经网络模型有明显的提升,便于辅助医学研究者定量分析和研究。
Description
技术领域
本发明属于核磁共振图像病症可视化技术领域,具体涉及一种基于STN的自闭症大脑磁共振图像可视化方法。
背景技术
近些年来,计算机视觉领域已经发生了翻天覆地的变化,不断地向前发展,卷积神经网络模型已经在分类、目标检测、图像分割以及动作识别等方面取得不错的成就。卷积神经网络定义了非常强大的模型类别,但是由于最大池化在平移,缩放,旋转和更多通用变形的不变性的变换范围通常很小,仍受到了缺乏对输入图像不变性的限制。
在这种情况下,空间变换网络(STN,Spatial Transformer Network)模块可以包含到现有的卷积神经网络架构中,与卷积神经网络中的池化层不同,在池化层是固定的、局部的,空间变换器模块是一种动态机制,可以在整个特征图上(非局部)执行变换,能够主动对输入的原始图像或者卷积输出的特征图进行空间变换,具有良好的空间转换能力,空间转换网络不仅可以选择图像中最相关的区域,还可以使用标准反向传播训练,进行端到端训练,实现自动识别检测且可视化效果良好的,较卷积神经网络模型有明显的提升,便于辅助医学研究者定量分析和研究。
发明内容
本发明的目的就是针对上述技术的不足,提供一种自动识别检测且可视化效果良好的基于STN的自闭症大脑磁共振图像可视化方法。
为实现上述目的,本发明所设计的基于STN的自闭症大脑磁共振图像可视化方法,具体如下:
1)采集自闭症患者的大脑核磁共振图像作为训练样本;
2)利用训练样本对STN模型进行训练,得到变换后的图像;
21)构建STN模型,并随机初始化网络参数;
构建STN模型,该STN模型包括定位网络(Localisation Network)、网格生成器(Grid Generator)、采样器(Samper)三部分,其中:Localisation Network是一个小型的卷积神经网络,输入的特征图U经过多个卷积层和池化层后,再经过全连接、回归层,生成空间变换参数θ(2x3的矩阵),注意在图像输入STN网络前初始化该参数θ;Grid Generator利用Localisation Network产生的参数θ进行仿射变换,找到对应于输入的特征图U的空间位置;Samper利用Grid generator产生的位置信息,利用双线性插值根据输入特征图U进行采样生成输出特征图V,使得整个网络可以进行端到端反向传播训练;
22)自闭症患者的大脑核磁共振图像作为输入层;
N张自闭症患者的大脑核磁共振图像作为STN模型的输入层,输入层采用的是分辨率大小为H×L的MRI图像,H代表的是MRI图像的高度,L代表的是MRI图像的宽度;将MRI图像的像素点进行顺序排列,用来作为输入层神经元的值,假设神经网络的输入层神经元输入为向量则向量中的每个元素xi的值即对应着输入层对应的每个神经元i,神经元的输出值ai,1也是输入向量本身;
23)Localisation Network构造有m个卷积层,对步骤22)自闭症患者的大脑核磁共振图像进行卷积;
卷积层Conv1层的卷积核的个数为n个、尺寸大小F1,步长stride记为SC1,特征图填充圈数为padding-F1,MRI图像作为STN网络的输入层,采用n个卷积核对步骤22)中MRI图像进行卷积,因此得到了Conv1层卷积后特征图分辨率大小为Hc1×Lc1,通道数为Dc1,即:
Hc1=(H-F1+2×Padding-F1)/SC1+1,Lc1=(L-F1+2×Padding-F1)/SC1+1,Dc1=n,
由于整个神经网络也是全连接网络,每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置bl,其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重,也可记为Wl,bl代表从l-1层到l层的偏置;因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时,可以得到该卷积层的神经元连接到输入层神经元的权重为Wl(W2),一个偏置为bl(b2),Conv1层的输出为ai,2=σ(zi,2)=σ(W2ai.1+b2),其中σ为激励函数Relu,ai,l代表第l层的第i个神经元输出值;
24)Localisation Network构造有m个池化层,Pool1层对Conv1层卷积后特征图进行池化;
池化层的Pool1层采用池化核的个数为n,尺寸大小为P1,步长Stride记为SP1,特征图填充圈数为padding-P1,对Conv1层所得到的每一张卷积后特征图进行降维采样,得到Pool1层池化后特征图分辨率大小HP1×LP1,通道数为SP1:
Hp1=(Hc1-P1+2×padding-P1)/SP1+1,Lp1=(Lc1-P1+2×padding-P1)/SP1+1,Sp1=n,
Pool1层在池化Conv1层卷积后所得到的特征图过程中,没有涉及参数W及b,而是按照池化区域大小和最大池化标准将输入张量a缩小的过程,即所得到的输出张量为ai,3=pool(ai,2);
25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后,停止卷积和池化;
26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图,由于Localisation Network中生成了仿射变化所需要的六个参数值,即FC层最后输出的维度也为6,即Aθ,注意在图像输入STN网络前初始化该参数Aθ;
28)Samper利用步骤27)Grid generator采样到的位置信息,使用双线性插值根据输入特征图U生成输出图像V,让整个网络可以进行端到端反向传播训练,然后将输出的图像V输送到后面的主卷积神经网络中;
29)循环训练步骤23)至步骤28)进行5000次迭代,不断更新STN模型参数,使得更能显著地表示出图像信息;
3)将STN模型训练变换后的图像输送至卷积神经网络训练,实现对自闭症患者的大脑核磁共振图像的可视化;
对步骤29)转换后的图像使用卷积层和池化层交替进行,更深次地提取自闭症大脑磁共振图像的特征,最后采用一层全连接层连接特征图,采用softmax分类器输出每个类别,以此实现自闭症大脑磁共振图像可视化。
4)定义整个网络(STN模型+卷积神经网络)的损失函数;
损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数:
式中:n为训练自闭症大脑磁共振图像样本的总数,x为其中的某一个样本,M为类别的数量,pxc为神经网络输出的样本x属于类别c的预测概率,yxc为该样本的真实标签;
5)根据损失函数并计算梯度值,对整个网络进行反向传播,从而对网络的参数进行更新;
神经网络反向传播过程中,更新误差项δ时首先从卷积神经网络的输出层开始,其中全连接层根据输出层计算的误差为δl=(wl+1)T*δl+1⊙σ'(zl)(σ为激活函数,上标’表示求导,z为临时变量,符号⊙为Hadamard乘积,用于矩阵或向量之间点对点的乘法运算),然后依次反向计算每个隐藏层的误差,即池化层根据全连接层计算的误差为δl-1=upsample(δl)⊙σ'(zl-1)(upsample为上采样操作),卷积层根据池化层计算的误差为δl-2=δl-1*rot180(wl-1)⊙σ'(zl-2)(rot180为矩阵顺时针旋转180度操作),再依次池化层、卷积层交替误差计算;
进一步地,从步骤28)至步骤23)反向传播的具体过程如下:
其中,Samper网络二次插值过程为:
根据交叉熵损失函数进行到Samper网络的反向传播时,有:
根据交叉熵损失函数从Samper网络的反向传播到Grid Generator网络时,有:
根据交叉熵损失函数从Grid Generator网络的反向传播到LocalisationNetwork网络时,同理上述的卷积神经网络反向传播;
6)循环步骤22)至步骤5)进行多次迭代,不断更新整个网络的参数,直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代确定了权值,阈值以及STN网络的参数值,整个网络最终也实现自闭症大脑磁共振图像可视化;
与现有技术相比,本发明具有以下优点:本发明基于STN的自闭症大脑磁共振图像可视化方法,STN模型在卷积神经网络模型的基础上对自闭症大脑磁共振图进行处理,实现自动识别检测且可视化效果良好的,较卷积神经网络模型有明显的提升,便于辅助医学研究者定量分析和研究。
附图说明
图1是本发明中STN模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
一种基于STN的自闭症大脑磁共振图像可视化方法,具体方法如下:
1)采集自闭症患者的大脑核磁共振图像作为训练样本;
2)利用训练样本对STN模型进行训练,得到变换后的图像;
21)构建STN模型,并随机初始化网络参数;
构建STN模型,如图1,该STN模型包括定位网络(Localisation Network)、网格生成器(Grid Generator)、采样器(Samper)三部分,其中:Localisation Network是一个小型的卷积神经网络,输入的特征图U经过多个卷积层和池化层,再经过全连接、回归层,生成空间变换参数θ(2x3的矩阵),注意在图像输入STN网络前初始化该参数θ;Grid Generator利用Localisation Network产生的参数θ进行仿射变换,找到对应于输入的特征图U的空间位置;Samper利用Grid generator产生的位置信息,利用双线性插值根据输入特征图U进行采样生成输出图像V,使得整个网络可以进行端到端反向传播训练;
22)自闭症患者的大脑核磁共振图像作为输入层;
N张自闭症患者的大脑核磁共振图像作为STN模型的输入层,输入层采用的是分辨率大小为H×L的MRI图像,H代表的是MRI图像的高度,L代表的是MRI图像的宽度,将MRI图像的像素点进行顺序排列,用来作为输入层神经元的值,假设神经网络的输入层神经元输入为向量则向量中的每个元素xi的值即对应着输入层对应的每个神经元i,神经元的输出值ai,1也是输入向量本身;
23)Localisation Network构造有m个卷积层,对步骤22)自闭症患者的大脑核磁共振图像进行卷积;
卷积层Conv1层的卷积核的个数为n个、尺寸大小F1,步长stride记为SC1,特征图填充圈数为padding-F1,MRI图像作为STN网络的输入层,采用n个卷积核对步骤22)中MRI图像进行卷积,因此得到了Conv1层卷积后特征图分辨率大小为Hc1×Lc1,通道数为Dc1,即:
Hc1=(H-F1+2×Padding-F1)/SC1+1,Lc1=(L-F1+2×Padding-F1)/SC1+1,Dc1=n,
由于整个神经网络也是全连接网络,每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置bl,其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重,也可记为Wl,bl代表从l-1层到l层的偏置;因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时,可以得到该卷积层的神经元连接到输入层神经元的权重为Wl(W2),一个偏置为bl(b2),Conv1层的输出为ai,2=σ(zi,2)=σ(W2ai.1+b2),其中σ为激励函数Relu,ai,l代表第l层的第i个神经元输出值;
24)Localisation Network构造有m个池化层,Pool1层对Conv1层卷积后特征图进行池化;
池化层的Pool1层采用池化核的个数为n,尺寸大小为P1,步长Stride记为SP1,特征图填充圈数为padding-P1,对Conv1层所得到的每一张卷积后特征图进行降维采样,得到Pool1层池化后特征图分辨率大小HP1×LP1,通道数为SP1:
Hp1=(Hc1-P1+2×padding-P1)/SP1+1,Lp1=(Lc1-P1+2×padding-P1)/SP1+1,Sp1=n,
Pool1层在池化Conv1层卷积后所得到的特征图过程中,没有涉及参数W及b,而是按照池化区域大小和最大池化标准将输入张量a缩小的过程,即所得到的输出张量为ai,3=pool(ai,2);
25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后,停止卷积和池化;
26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图,由于Localisation Network中生成了仿射变化所需要的六个参数值,即FC层最后输出的维度也为6,即Aθ,注意在图像输入STN网络前初始化该参数Aθ;
28)Samper利用步骤27)Grid generator采样到的位置信息,使用双线性插值根据输入特征图U生成输出图像V,让整个网络可以进行端到端反向传播训练,然后将输出的图像V输送到后面的主卷积神经网络中;
29)循环训练步骤23)至步骤28)进行5000次迭代,不断更新STN模型参数,使得更能显著地表示出图像信息;
3)将STN模型训练变换后的图像输送至卷积神经网络训练,实现对自闭症患者的大脑核磁共振图像的可视化;
对步骤29)转换后的图像使用卷积层和池化层交替进行,更深次地提取自闭症大脑磁共振图像的特征,最后采用一层全连接层连接特征图,采用softmax分类器输出每个类别,以此实现自闭症大脑磁共振图像可视化;
4)定义整个网络(STN模型+卷积神经网络)的损失函数;
损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数:
式中:n为训练自闭症大脑磁共振图像样本的总数,x为其中的某一个样本,M为类别的数量,pxc为神经网络输出的样本x属于类别c的预测概率,yxc为该样本的真实标签;
5)根据损失函数并计算梯度值,对整个网络进行反向传播,从而对网络的参数进行更新;
神经网络反向传播过程中,在计算每个神经元的误差项δ时,首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ,即当前层的误差用下一层的误差来表示;
反向传播过程中,更新误差项δ时首先从卷积神经网络的输出层开始,其中全连接层根据输出层计算的误差为δl=(wl+1)T*δl+1⊙σ'(zl),σ为激活函数,z为临时变量,符号⊙为Hadamard乘积,用于矩阵或向量之间点对点的乘法运算,然后依次反向计算每个隐藏层的误差,即池化层根据全连接层计算的误差为δl-1=upsample(δl)⊙σ'(zl-1),upsample为上采样操作,卷积层根据池化层计算的误差为δl-2=δl-1*rot180(wl-1)⊙σ'(zl-2),rot180为矩阵顺时针旋转180度操作,再依次池化层、卷积层交替误差计算。
进一步地,从步骤28)至步骤23)反向传播的具体过程如下:
其中,Samper网络二次插值过程为:
根据交叉熵损失函数进行到Samper网络的反向传播时,有:
根据交叉熵损失函数从Samper网络的反向传播到Grid Generator网络时,有:
根据交叉熵损失函数从Grid Generator网络的反向传播到LocalisationNetwork网络时,同理上述的卷积神经网络反向传播;
6)循环步骤22)至步骤5)进行多次迭代,不断更新整个网络的参数,直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代确定了权值,阈值以及STN网络的参数值,整个网络最终也实现自闭症大脑磁共振图像可视化;
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于STN的自闭症大脑磁共振图像可视化方法,其特征在于:所述可视化方法具体如下:
1)采集自闭症患者的大脑核磁共振图像作为训练样本;
2)利用训练样本对STN模型进行训练,得到变换后的图像;
3)将STN模型训练变换后的图像输送至卷积神经网络训练,实现对自闭症患者的大脑核磁共振图像的可视化;
对变换后的图像使用卷积层和池化层交替进行,更深次地提取自闭症大脑磁共振图像的特征,最后采用一层全连接层连接特征图,采用softmax分类器输出每个类别,以此实现自闭症大脑磁共振图像可视化;
4)定义整个网络,即STN模型和卷积神经网络的损失函数;
损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数:
式中:n为训练自闭症大脑磁共振图像样本的总数,x为其中的某一个样本,M为类别的数量,pxc为神经网络输出的样本x属于类别c的预测概率,yxc为该样本的真实标签;
5)根据损失函数并计算梯度值,对整个网络进行反向传播,从而对整个网络的参数进行更新;
6)循环步骤2)至步骤5)进行多次迭代,不断更新整个网络的参数,直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代,确定权值,阈值以及STN模型的参数值,最终实现自闭症大脑磁共振图像可视化。
2.如权利要求1所述的一种基于STN的自闭症大脑磁共振图像可视化方法,其特征在于:步骤2)的具体实现方式如下:
21)构建STN模型,并随机初始化网络参数;
构建STN模型,该STN模型包括定位网络Localisation Network、网格生成器GridGenerator、采样器Samper三部分,其中:Localisation Network是一个小型的卷积神经网络,输入的特征图U经过多个卷积层和池化层,再经过全连接、回归层,生成空间变换参数θ,并初始化该参数θ;Grid Generator利用Localisation Network产生的参数θ进行仿射变换,找到对应于输入的特征图U的空间位置;Samper利用Grid generator产生的位置信息,利用双线性插值根据输入特征图U进行采样生成输出图像V,使得整个网络进行端到端反向传播训练;
22)自闭症患者的大脑核磁共振图像作为输入层;
23)Localisation Network构造有m个卷积层,对步骤22)自闭症患者的大脑核磁共振图像进行卷积;
24)Localisation Network构造有m个池化层,对步骤23)卷积后特征图进行池化;
25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后,停止卷积和池化;
26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图,生成了仿射变化所需要的参数Aθ;
28)Samper利用步骤27)Grid generator采样到的位置信息,使用双线性插值根据输入特征图U生成输出图像V,让整个网络进行端到端反向传播训练,然后将输出的图像V输送到后面的主卷积神经网络中;
29)循环训练步骤23)至步骤28)进行若干次迭代,不断更新STN模型参数,使得更能显著地表示出图像信息。
4.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法,其特征在于:所述步骤23)中,具体过程如下:
卷积层Conv1层的卷积核的个数为n个、尺寸大小F1,步长stride记为SC1,特征图填充圈数为padding-F1,MRI图像作为STN网络的输入层,采用n个卷积核对步骤22)中MRI图像进行卷积,因此得到了Conv1层卷积后特征图分辨率大小为Hc1×Lc1,通道数为Dc1,即:
Hc1=(H-F1+2×Padding-F1)/SC1+1,Lc1=(L-F1+2×Padding-F1)/SC1+1,Dc1=n,
5.根据权利要求4所述基于STN的自闭症大脑磁共振图像可视化方法,其特征在于:所述步骤24)中,具体过程如下:
池化层的Pool1层采用池化核的个数为n,尺寸大小为P1,步长Stride记为Sp1,特征图填充圈数为padding-P1,对Conv1层所得到的每一张卷积后特征图进行降维采样,得到Pool1层池化后特征图分辨率大小Hp1×Lp1,通道数为Sp1:
Hp1=(Hc1-P1+2×padding-P1)/SP1+1,Lp1=(Lc1-P1+2×padding-P1)/SP1+1,Sp1=n,
Pool1层在池化Conv1层卷积后所得到的特征图过程中,没有涉及参数W及b,而是按照池化区域大小和最大池化标准将输入张量a缩小的过程,即所得到的输出张量为ai,3=pool(ai,2)。
6.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法,其特征在于:所述步骤5)中,具体过程如下:
反向传播过程中,更新误差项δ时首先从卷积神经网络的输出层开始,其中全连接层根据输出层计算的误差为δl=(wl+1)T*δl+1⊙σ'(zl),σ为激活函数,z为临时变量,符号⊙为Hadamard乘积,用于矩阵或向量之间点对点的乘法运算,然后依次反向计算每个隐藏层的误差,即池化层根据全连接层计算的误差为δl-1=upsample(δl)⊙σ'(zl-1),upsample为上采样操作,卷积层根据池化层计算的误差为δl-2=δl-1*rot180(wl-1)⊙σ'(zl-2),rot180为矩阵顺时针旋转180度操作,再依次池化层、卷积层交替误差计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217059.8A CN112420175A (zh) | 2020-11-04 | 2020-11-04 | 基于stn的自闭症大脑磁共振图像可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217059.8A CN112420175A (zh) | 2020-11-04 | 2020-11-04 | 基于stn的自闭症大脑磁共振图像可视化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112420175A true CN112420175A (zh) | 2021-02-26 |
Family
ID=74826929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011217059.8A Pending CN112420175A (zh) | 2020-11-04 | 2020-11-04 | 基于stn的自闭症大脑磁共振图像可视化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112420175A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778657A (zh) * | 2016-12-28 | 2017-05-31 | 南京邮电大学 | 基于卷积神经网络的新生儿疼痛表情分类方法 |
CN111178425A (zh) * | 2019-12-26 | 2020-05-19 | 哈尔滨工业大学 | 一种基于卷积神经网络的大型高速回转装备面型分类方法 |
CN111582396A (zh) * | 2020-05-13 | 2020-08-25 | 江南大学 | 一种基于改进卷积神经网络的故障诊断方法 |
-
2020
- 2020-11-04 CN CN202011217059.8A patent/CN112420175A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778657A (zh) * | 2016-12-28 | 2017-05-31 | 南京邮电大学 | 基于卷积神经网络的新生儿疼痛表情分类方法 |
CN111178425A (zh) * | 2019-12-26 | 2020-05-19 | 哈尔滨工业大学 | 一种基于卷积神经网络的大型高速回转装备面型分类方法 |
CN111582396A (zh) * | 2020-05-13 | 2020-08-25 | 江南大学 | 一种基于改进卷积神经网络的故障诊断方法 |
Non-Patent Citations (4)
Title |
---|
XHOLES: "STN:空间变换网络(Spatial Transformer Network)", 《HTTPS://BLOG.CSDN.NET/XHOLES/ARTICLE/DETAILS/80457210》 * |
YUEYANGGUO: "卷积或池化后的特征图尺寸计算", 《HTTPS://BLOG.CSDN.NET/GUOYUEYANG/ARTICLE/DETAILS/89948062》 * |
刘建平PINARD: "卷积神经网络(CNN)反向传播算法", 《HTTPS://WWW.CNBLOGS.COM/PINARD/P/6494810.HTML》 * |
沈 雁等: "基于改进深度孪生网络的分类器及其应用", 《计算机工程与应用》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fan et al. | Balanced two-stage residual networks for image super-resolution | |
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
Li et al. | Non-rigid image registration using fully convolutional networks with deep self-supervision | |
CN112819076B (zh) | 基于深度迁移学习的医学图像分类模型的训练方法及装置 | |
CN112132878B (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
CN113706388B (zh) | 图像超分辨率重建方法及装置 | |
CN109118487B (zh) | 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法 | |
Ashtari et al. | Factorizer: A scalable interpretable approach to context modeling for medical image segmentation | |
Gaidhani et al. | Brain stroke detection using convolutional neural network and deep learning models | |
CN113951830B (zh) | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 | |
CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
CN113689545A (zh) | 一种2d到3d端对端的超声或ct医学影像跨模态重建方法 | |
Lou et al. | Whole heart auto segmentation of cardiac CT images using U-Net based GAN | |
CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
Yang et al. | MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction | |
CN116309507A (zh) | 注意力机制下对ctp进行特征融合的ais病灶预测方法 | |
CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
CN114972291B (zh) | 基于混合增强智能的医学影像结构化自动标注方法与系统 | |
CN115205308A (zh) | 一种基于线状滤波和深度学习的眼底图像血管分割方法 | |
Upendra et al. | Motion extraction of the right ventricle from 4D cardiac cine MRI using a deep learning-based deformable registration framework | |
CN112420175A (zh) | 基于stn的自闭症大脑磁共振图像可视化方法 | |
CN115861396A (zh) | 一种基于深度学习的医学图像配准方法 | |
EP3945469A1 (en) | Computer-implemented method for parametrizing a function for evaluating a medical image dataset | |
Lou et al. | Nu-net based gan: Using nested u-structure for whole heart auto segmentation | |
CN113689544A (zh) | 一种跨视图几何约束的医学影像三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |
|
RJ01 | Rejection of invention patent application after publication |