CN110276736B - 一种基于权值预测网络的磁共振图像融合方法 - Google Patents
一种基于权值预测网络的磁共振图像融合方法 Download PDFInfo
- Publication number
- CN110276736B CN110276736B CN201910256582.2A CN201910256582A CN110276736B CN 110276736 B CN110276736 B CN 110276736B CN 201910256582 A CN201910256582 A CN 201910256582A CN 110276736 B CN110276736 B CN 110276736B
- Authority
- CN
- China
- Prior art keywords
- network
- weight prediction
- image
- fusion
- artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001629 suppression Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002503 metabolic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种基于权值预测网络的磁共振图像融合方法，首先设计去伪影网络，对输入的多模态图像进行伪影辨识和抑制；其次构造权值预测网络，生成不同对比度图像的融合权值预测图，细节丰富的区域赋予较高的权重；最后建立融合网络，输入经过伪影抑制的图像与其对应的权值预测图，获得兼具各模态对比度优势的合成图像。本发明通过对磁共振图像进行伪影预处理，有效提高图像融合的适用性；通过整合不同对比度图像的优势，能够更全面准确的描述生物组织结构。与传统方法相比，不需要设计繁琐的特征提取，具有显著的抗伪影能力，融合效果优良，有助于以图像为引导的医学诊断和治疗。
Description
技术领域
本发明涉及磁共振图像处理技术领域，尤其是涉及一种基于权值预测网络的磁共振图像融合方法。
背景技术
随着传感器和计算机技术的快速发展，医学成像已成为包括诊断，治疗计划和手术导航在内的各种临床应用中不可替代的组成部分。由于成像机制的不同，具有不同模态的医学图像关注不同类别的器官/组织信息。为了向临床医生提供足够的信息，通常需要使用多种模态的医学图像，诸如X射线，计算机断层扫描(CT)，磁共振(MR)，正电子发射断层扫描(PET)，单光子发射计算机断层扫描(SPECT)等。在医学图像领域，磁共振成像(MRI)是头颈部软组织病变的最佳影像学检查方法，特别地，磁共振成像有很多不同的成像模态。因此，它不仅是常规的、重要的临床诊断工具，而且已被广泛地应用于神经、精神疾病以及认知神经科学等科研领域。多模态MRI在临床诊治和研究方面也起着重要的不可替代的作用。多模态MRI不仅能显示结构和病变的形态学特点，而且可全面反映血流灌注、血液动力学、代谢情况和水分子改变等功能代谢信息，在全身疾病的诊断疗效评价预测和发生机制研究中发挥着越来越重要的作用。
随着深度神经网络的提出，深度学习在特征学习上的优势逐渐为人们所熟知。深度学习解决了以往进行特征提取时需要手工设计提取规则的问题，相较于传统的特征提取方法，利用深度学习得到的低维抽象特征性能良好，具有深度结构的神经网络还可以有效的揭示数据之间的隐藏内在结构，从而抽取出对于任务有用的高层抽象特征。卷积神经网络是各种深度神经网络应用最广泛的一种，近年来各种经过改进的网络被不断提出。2015年何恺明等人提出残差学习[1]的框架比较好的解决了神经网络的退化问题，将网络层数推广到前所未有的规模。2017年Gao Huang等人提出密集连接网络[2]将每一层都接受前面所有层的输出，缓解梯度消失问题，加强特征传播，使用特征复用来减少计算量。经过良好设计的网络结构在多种图像处理任务中已经取得了优良的效果，因此图像融合与卷积神经网络的结合展现出广阔的研究前景。
多模态医学图像融合是将单个或多个成像模式中的多个图像进行融合，其目的是对同一组织结构产生更全面、准确的描述，促进以图像为引导的医学诊断和治疗。多模态医学图像融合方法涉及到图像处理、计算机视觉、模式认知、机器学习和人工智能等多个领域，具有广泛的应用前景。目前已经有不少传统图像处理方法[3-6]实现多模态医学图像融合，也有方法[7-9]将多模态医学图像融合与脉冲耦合神经网络结合，取得了不错的效果。但是这些方法都存在流程复杂，需要人工设计特征提取规则等缺点。2017年刘羽等人提出了基于卷积神经网络的医学图像融合[10]，但其也使用了传统的图像处理方法，并且其训练数据来源于自然图像。在其他图像融合领域，2017年刘羽等人提出了基于卷积神经网络的多聚焦图像融合[11]。2018年Ma Jiayi等人提出了基于生成对抗神经网络的红外与可见光图像融合[12]。上述融合方法在融合时均没有考虑图像中可能存在伪影这一问题，目前还没有出现基于深度学习的多模态MRI的融合方法。
参考文献：
[1]He K,Zhang X,Ren S,et al.Deep Residual Learning for ImageRecognition[J].2015.
[2]Huang G,Liu Z,Maaten L V D,et al.Densely Connected ConvolutionalNetworks[J].2017.
[3]Du J,Li W,Xiao B,et al.Union Laplacian pyramid with multiplefeatures for medical image fusion[J].Neurocomputing,2016,194:326-339.
[4]Xu Z.Medical image fusion using multi-level local extrema[J].Information Fusion,2014,19:38-48.
[5]Li S,Kang X,Hu J.Image Fusion With Guided Filtering[J].IEEETransactions on Image Processing,2013,22(7):2864-2875.
[6]Liu Y,Liu S,Wang Z.A general framework for image fusion based onmulti-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.
[7]Yin M,Liu X,Liu Y,et al.Medical Image Fusion With Parameter-Adaptive Pulse Coupled Neural Network in Nonsubsampled Shearlet TransformDomain[J].IEEE Transactions on Instrumentation and Measurement,2018(99):1-16.
[8]Xiaobo Q,Jingwen Y,Hongzhi X,et al.Image fusion algorithm based onspatial frequency-motivated pulse coupled neural networks in nonsubsampledcontourlet transform domain[J].Acta Automatica Sinica,2008,34(12):1508-1514.
[9]Das S,Kundu M K.A neuro-fuzzy approach for medical image fusion[J].IEEE transactions on biomedical engineering,2013,60(12):3347-3353.
[10]Liu Y,Chen X,Cheng J,et al.Amedical image fusion method based onconvolutional neural networks[C]20th IEEE International Conference onInformation Fusion(Fusion).2017.
[11]Liu Y,Chen X,Peng H,et al.Multi-focus image fusion with a deepconvolutional neural network[J].Information Fusion,2017,36:191-207.
[12]Jiayi M,Wei Y,Pengwei L,et al.Fusion GAN:Agenerative adversarialnetwork for infrared and visible image fusion[J].Information Fusion,2018:S1566253518301143-.
[13]Simonyan K,Zisserman A.Very Deep Convolutional Networks forLarge-Scale Image Recognition[J].Computer Science,2014.
发明内容
本发明在于克服现有技术的不足，提供一种能得到良好融合效果，基于权值预测网络的磁共振图像融合方法。
本发明采用如下技术方案：
一种基于权值预测网络的磁共振图像融合方法，包括如下步骤：
1)使用去伪影网络对T2加权图(幅值图)和场图两种模态的磁共振图像进行伪影抑制；
2)将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图；
3)对粗略权值预测图进行后处理得到权值预测图；
4)将经过伪影抑制的图像与权值预测图输入到融合网络进行融合。
在步骤1)中，考虑到实际获得的磁共振图像通常都含有一定伪影，在融合之前本发明使用去伪影网络对图像进行伪影抑制。本发明将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络，这样可以使去伪影网络对有伪影、无伪影的数据均有较好的鲁棒性，所述模拟伪影可根据实际情况进行模拟。
所述去伪影网络模型为U-Net；U-Net为编码器-解码器结构，编码器共使用3次最大池化实现下采样，在此过程中编码器可以提取不同尺度的图像特征。解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接，这种方式可以使解码器充分利用编码器提取的多尺度特征从而实现更好的去伪影效果。网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习。训练去伪影网络时损失函数为均方误差，采用反向传播算法调整网络参数，直至损失函数下降至收敛。
在步骤2)中，获取所述权值预测网络的训练数据需要对无伪影的幅值图和场图进行切块处理并分类；首先在相同位置分别将幅值图和场图切成相同尺寸的块，计算两个块平均梯度的差值Δ，将切出的两个块视为一组数据，统计所有组数据的平均梯度差值后，观察到梯度差值的分布近似于均值为0的高斯分布，因此为保证每类数据都有足够的训练数量，并且类间差足够大，根据差值分布的标准差σ将所有组数据分为5类：
最后将切出的块作为训练集，每组数据的类别作为标签，用于训练权值预测网络，权值预测网络会对两个块的梯度差值进行判别。
所述权值预测网络模型为残差网络；权值预测网络本质上是一个分类网络，鉴于深层残差网络在图像分类问题上优异表现，本发明使用堆叠残差块的方式构造权值预测网络。权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层，分别实现降维、特征提取、升维，这样的设计使残差网络参数更少，更易训练。在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍。每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出。训练权值预测网络时损失函数为交叉熵，采用反向传播算法调整网络参数，直至损失函数下降至收敛。
在步骤2)中，所述得到粗略权值预测图的方法为：在测试时先将幅值图和场图输入到去伪影网络进行伪影抑制后，再输入到训练好的权值预测网络可得到粗略权值预测图，其尺寸为：
其中，Sori为原始图像的尺寸，Spat为切块尺寸。
在步骤3)中，所述后处理为：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75、1，然后将粗略权值预测图中每个像素的值填充到尺寸为Spat的块中，像素间步长为2，重叠部分取平均可得到与原始图像尺寸相同的权值预测图。权值预测图像素的幅值范围在[0,1]之间且分布平滑，反映了该像素附近幅值图和场图的梯度比重，两者梯度较大的区域在融合时将被赋予较大的融合权值。
在步骤4)中，所述融合网络模型为多尺度、多监督、模块化的网络；由于密集连接模块具有参数少，特征传播能力强等优点，因此融合网络由5个分辨率逐步减半的密集连接模块组成。首先将幅值图、场图和权值预测图进行4次下采样，下采样的分辨率分别对应于前4个模块的工作分辨率。除了第一个模块只输入经过下采样的幅值图、场图和权值预测图外，其他模块均输入对应分辨率的幅值图、场图、权值预测图以及上一个模块经过上采样的输出。融合网络首先使用工作在低分辨率的模块进行图像融合，然后使用其他分辨率的模块逐步提高融合图像的分辨率，不断的细化融合图像中的纹理。网络中间模块使用跳跃连接将上一个模块的输出加到该模块的输出上来实现残差学习，每个模块都可单独训练从而确保该分辨率下的融合效果。每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。
使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：
其中，X、M、F、W分别表示模块输出、幅值图、场图、权值图；N为像素个数；·表示哈达玛乘。
训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络[13]中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：
其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。
与现有技术相比，本发明的有益效果如下：
本发明在融合之前先使用去伪影网络进行伪影抑制更符合磁共振图像通常含有伪影的实际情况。针对磁共振图像细节丰富的特点，设计权值预测网络对幅值图和场图一定区域内的梯度进行判别，对于细节丰富的区域赋予较大的融合权值，无需设计繁琐的特征提取规则。对粗略权值预测图进行填块取平均的后处理使权值预测图更加平滑，从而使最后的融合结果中的过渡部分更加平滑。设计多尺度、多监督、模块化的融合网络，使用权值预测图指导融合网络进行融合。融合网络的工作分辨率逐渐上升，不断的细化融合图像中的纹理，在融合网络的最后一个模块还将幅值图和场图不同层次的特征进行融合，取得了良好的视觉效果。
附图说明
图1为本发明方法流程图；
图2为去伪影网络的网络结构图；去伪影网络共有21个卷积层，先进行3次下采样再进行3次上采样，使用3个跳跃连接，卷积层下方的数字为输出通道数，上方数字为图像尺寸，网络输入与网络输出相加以进行残差学习；
图3为去伪影网络的效果图；output图中的数字标明了该图与标签的SSIM与PSNR值；针对两幅图像均不含有伪影，幅值图含有伪影，场图含有伪影，两者均不含伪影这4种情况，去伪影网络均得到了良好的结果；
图4为权值预测网络与融合网络的网络结构图；在图4中，卷积层内数字分别代表卷积核大小和输出通道数，图(a)是权值预测网络中残差模块与融合网络中密集连接模块的结构，图(b)是权值预测网络的具体结构，图(c)是融合网络的具体结构；
图5为输入含伪影幅值图和场图时本发明与其他方法融合效果对比；LP[3]、LE[4]、GF[5]、MST-SR[6]、PA-PCNN[7]、SF-PCNN[8]、RPCNN[9]方法在融合时均将伪影带入到融合结果中，本发明抑制了输入图像中的伪影，并且保留了更多信息到融合结果中；
图6为输入经过伪影抑制的幅值图和场图时本发明与其他方法融合效果对比；图(a)是融合结果的主观对比，本发明的融合结果仍然含有更多的纹理；图(b)是使用40幅图像进行融合的客观评价指标对比，本发明在边缘强度EI、标准差SD、空间频率SF、结构相似度SSIM、视觉保真度VIFF上取得了有竞争力的结果。
具体实施方式
本发明具体实施例使用T2加权图(幅值图)和场图两种模态的磁共振图像，先对图像进行伪影抑制再进行融合。
参见图1所示，本发明提供一种基于权值预测网络的磁共振图像融合方法，具体步骤如下：
S101，使用去伪影网络对T2加权图(幅值图)和场图两种模态的磁共振图像进行伪影抑制。
使用多回波GRE序列采集尺寸为224×224的人脑幅值图及对应相位图，对相位图进行相位解缠绕及去除背景场后得到含有丰富细节信息的场图，幅值图与其对应场图构成一组图像，经过数据扩容后共得到18000组图像，其中17500组用于训练，500组用于测试，图像幅值被归一化到[-1,1]，并且可以认定为无伪影的图像。
考虑到磁共振图像通常含有一定伪影，在融合之前本发明使用去伪影网络对图像进行伪影抑制。本发明将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络，这样可以使去伪影网络对有伪影、无伪影的数据均有较好的鲁棒性，所述模拟伪影可根据实际情况进行模拟。在这里通过傅里叶变换将所有18000组图像转换到k空间中，在频率编码方向，保留k空间中心100条，循环移位其他124条-2到2个像素来模拟伪影。
所述去伪影网络模型如图2所示；去伪影网络为编码器-解码器结构，编码器共使用3次最大池化实现下采样，在此过程中编码器可以提取不同尺度的图像特征。解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接，这种方式可以使解码器充分利用编码器提取的多尺度特征从而实现更好的去伪影效果。网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习。
所述去伪影网络的训练方法为：在训练去伪影网络时每次输入8组图像，分别对应于两幅图像均不含有伪影，只有幅值图含有伪影，只有场图含有伪影，两者均含伪影这4种情况各2组。所用图像来自于训练数据集中17500组无伪影图像与17500组有模拟伪影图像，对应的无伪影图像作为标签来训练去伪影网络，损失函数使用均方误差，采用反向传播算法调整网络参数，直至损失函数下降至收敛，去伪影网络对这4种情况的去伪影效果如图3所示。
S102，将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图。
为获取所述权值预测网络的训练数据，首先需要在相同位置分别将无伪影的幅值图和场图切成尺寸为14×14的块，将切出的两个块视为一组数据，切块的总数为50万组。统计所有组数据的平均梯度差值后，观察到梯度差值的分布近似于均值为0的高斯分布，因此为保证每类数据都有足够的训练数量，并且类间差足够大，根据差值分布的标准差σ将所有组数据分为5类：
最后将切出的块作为训练集，每组数据的类别作为标签，用于训练权值预测网络，权值预测网络会对两个块的梯度差值进行判别。。
所述权值预测网络模型如图4(b)所示；权值预测网络本质上是一个分类网络，鉴于深层残差网络在图像分类问题上优异表现，本发明使用堆叠残差块的方式构造权值预测网络。权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层，分别实现降维、特征提取、升维，这样的设计使残差网络参数更少，更易训练。在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍。每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出。
所述权值预测网络的训练方法为：将50万组图像块作为训练集，每组数据对应的类别作为标签，使用交叉熵作为损失函数来训练权值预测网络，采用反向传播算法调整网络参数，直至损失函数下降至收敛。
在测试时将大小为224×224的幅值图和场图输入到训练好的权值预测网络可得到大小为106×106粗略权值预测图。
S103，对粗略权值预测图进行后处理得到权值预测图。
所述后处理为：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75、1，然后将粗略权值预测图中每个像素的值填充到尺寸为14×14的块中，像素间步长为2，重叠部分取平均可得到尺寸为224×224的权值预测图。权值预测图像素的幅值范围在[0,1]之间且分布平滑，反映了该像素附近幅值图和场图的梯度比重，两者梯度较大的区域在融合时将被赋予较大的融合权值。
S104，将经过伪影抑制的图像与权值预测图输入到融合网络进行融合。
所述融合网络模型如图4(c)所示；融合网络为多尺度、多监督、模块化的网络，由于密集连接模块具有参数少，特征传播能力强等优点，因此融合网络由5个分辨率逐步减半的密集连接模块组成。首先将幅值图、场图和权值预测图进行4次下采样，下采样的分辨率分别对应于前4个模块的工作分辨率。除了第一个模块只输入经过下采样的幅值图、场图和权值预测图外，其他模块均输入对应分辨率的幅值图、场图、权值预测图以及上一个模块经过上采样的输出。融合网络首先使用工作在低分辨率的模块进行图像融合，然后再使用其他分辨率的模块逐步提高融合图像的分辨率，不断的细化融合图像中的纹理。网络中间模块使用跳跃连接来实现残差学习，每个模块都可单独训练从而确保该分辨率下的融合效果。每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。
使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：
其中，X、M、F、W分别表示模块输出、幅值图、场图、权值图；N为像素个数；·表示哈达玛乘。
训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络[13]中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：
其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。这里使用vgg16网络的conv1_1、conv2_1、conv3_1层，它们的权重分别为0.6、0.2、0.2，对应Wl的尺寸分别为224×224、112×112、56×56。
在测试时先将尺寸为224×224的幅值图和场图输入到去伪影网络中得到经过伪影抑制的图像，再输入到权值预测网络中得到尺寸为106×106的粗略权值预测图，对粗略权值预测图使用填块取平均的方式得到尺寸为224×224权值预测图，最后将经过伪影抑制的图像与权值预测图输入到融合网络实现图像融合。当输入含有模拟伪影的图像时本发明与LP[3]、LE[4]、GF[5]、MST-SR[6]、PA-PCNN[7]、SF-PCNN[8]、RPCNN[9]方法的融合结果如图5所示，本发明成果成功抑制了输入图像中的伪影，并且保留了更多信息到融合结果中。图6是当输入经过伪影抑制的图像时本发明与其他方法的结果对比，本发明的融合结果仍然含有更多的纹理，并且在客观评价指标边缘强度EI、标准差SD、空间频率SF、结构相似度SSIM、视觉保真度VIFF上取得了有竞争力的结果。
上述实施例仅用来进一步说明本发明的一种基于权值预测网络的磁共振图像融合方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。
Claims (6)
1.一种基于权值预测网络的磁共振图像融合方法，其特征在于，包括以下步骤：
1)使用去伪影网络对幅值图和场图两种模态的磁共振图像进行伪影抑制；
2)将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图；
3)对粗略权值预测图进行后处理得到权值预测图；
4)将经过伪影抑制的图像与权值预测图输入到融合网络进行融合；
在步骤2)中，首先在相同位置分别将幅值图和场图切成相同尺寸的块，计算两个块平均梯度的差值Δ，将切出的两个块作为一组数据，统计所有组数据的平均梯度差值后，再计算差值分布的标准差σ，并使用以下方式将每组数据进行分类：
最后将切出的块作为训练集，每组数据的类别作为标签以训练权值预测网络。
2.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤1)中，将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络；所述去伪影网络模型为U-Net，编码器共使用3次最大池化实现下采样以编码提取不同尺度的图像特征；解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接；去伪影网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习；训练去伪影网络时损失函数为均方误差，采用反向传播算法调整网络参数。
3.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤2)中，所述权值预测网络模型为残差网络；权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层以分别实现降维、特征提取和升维；在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍；每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出；训练权值预测网络时损失函数为交叉熵，采用反向传播算法调整网络参数；在测试时先将幅值图和场图输入到去伪影网络进行伪影抑制后，再输入到训练好的权值预测网络得到粗略权值预测图，其尺寸为：
其中，Sori为原始图像的尺寸，Spat为切块尺寸。
4.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤3)中，所述后处理包括：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75和1；然后将粗略权值预测图中每个像素的值填充到尺寸为Spat的块中，像素间步长为2，重叠部分取平均得到与原始图像尺寸相同的权值预测图；权值预测图像素的幅值范围在[0,1]之间且分布平滑。
5.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤4)中，所述融合网络模型由5个工作在不同分辨率的密集连接模块组成；融合网络首先使用工作在低分辨率的模块进行图像融合，然后再使用其他分辨率的模块；网络中间模块使用跳跃连接以实现残差学习；每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。
6.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤4)中，使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：
其中，X表示模块输出；M表示幅值图；F表示场图；W表示权值图；N表示像素个数；·表示哈达玛乘；
训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：
其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256582.2A CN110276736B (zh) | 2019-04-01 | 2019-04-01 | 一种基于权值预测网络的磁共振图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256582.2A CN110276736B (zh) | 2019-04-01 | 2019-04-01 | 一种基于权值预测网络的磁共振图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110276736A CN110276736A (zh) | 2019-09-24 |
| CN110276736B true CN110276736B (zh) | 2021-01-19 |
Family
ID=67959490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256582.2A Expired - Fee Related CN110276736B (zh) | 2019-04-01 | 2019-04-01 | 一种基于权值预测网络的磁共振图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276736B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110677649B (zh) * | 2019-10-16 | 2021-09-28 | 腾讯科技（深圳）有限公司 | 基于机器学习的去伪影方法、去伪影模型训练方法及装置 |
| CN110866909B (zh) * | 2019-11-13 | 2022-09-27 | 武汉中科医疗科技工业技术研究院有限公司 | 图像生成网络的训练方法、图像预测方法和计算机设备 |
| CN110866888B (zh) * | 2019-11-14 | 2022-04-26 | 四川大学 | 基于潜在信息表征gan的多模态mri合成方法 |
| CN113139893B (zh) * | 2020-01-20 | 2023-10-03 | 北京达佳互联信息技术有限公司 | 图像翻译模型的构建方法和装置、图像翻译方法和装置 |
| CN111681296B (zh) * | 2020-05-09 | 2024-03-22 | 上海联影智能医疗科技有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
| CN111815563B (zh) * | 2020-06-10 | 2024-04-09 | 重庆贝奥新视野医疗设备有限公司 | 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法 |
| CN111563940B (zh) * | 2020-07-15 | 2020-10-30 | 南京安科医疗科技有限公司 | 一种步进轴扫ct重建中拼接伪影的去除方法及电子介质 |
| CN113449770B (zh) * | 2021-05-18 | 2024-02-13 | 科大讯飞股份有限公司 | 图像检测方法以及电子设备、存储装置 |
| CN115690578A (zh) * | 2022-10-26 | 2023-02-03 | 中国电子科技集团公司信息科学研究院 | 一种图像融合方法和目标识别方法及装置 |
| CN116797457B (zh) * | 2023-05-20 | 2024-05-14 | 北京大学 | 一种同时实现磁共振影像超分辨和伪影去除的方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104267361A (zh) * | 2014-10-13 | 2015-01-07 | 厦门大学 | 基于结构特征的自适应定量磁化率分布图复合重建的方法 |
| CN106023126A (zh) * | 2016-05-12 | 2016-10-12 | 山东省肿瘤医院 | 一种基于区域对比的医学图像融合方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
-
2019
- 2019-04-01 CN CN201910256582.2A patent/CN110276736B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104267361A (zh) * | 2014-10-13 | 2015-01-07 | 厦门大学 | 基于结构特征的自适应定量磁化率分布图复合重建的方法 |
| CN106023126A (zh) * | 2016-05-12 | 2016-10-12 | 山东省肿瘤医院 | 一种基于区域对比的医学图像融合方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Medical Image Fusion Method Based on Convolutional Neural Networks;Yu Liu et al;《20th International Conference on Information Fusion》;20170713;摘要、第1-5节、图1-6 * |
| Densely Connected Convolutional Networks for Multi-Exposure Fusion;Yue Que et al;《2018 International Conference on Computational Science and Computational Intelligence (CSCI)》;20181231;摘要、第1-4节、图2 * |
| 卷积神经网络在磁共振图像重建及质量评价中的应用;王一达;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;摘要、第二章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110276736A (zh) | 2019-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276736B (zh) | 一种基于权值预测网络的磁共振图像融合方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| Sloan et al. | Learning rigid image registration-utilizing convolutional neural networks for medical image registration | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| Dhollander et al. | Track orientation density imaging (TODI) and track orientation distribution (TOD) based tractography | |
| Wu et al. | IREM: high-resolution magnetic resonance image reconstruction via implicit neural representation | |
| CN106485764A (zh) | Mri图像的快速精确重建方法 | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| Liu et al. | Multimodal MRI volumetric data fusion with convolutional neural networks | |
| Liu et al. | Glioma segmentation-oriented multi-modal MR image fusion with adversarial learning | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| Wang et al. | Reduction of Gibbs artifacts in magnetic resonance imaging based on Convolutional Neural Network | |
| CN107845065A (zh) | 超分辨率图像重建方法和装置 | |
| CN105447837A (zh) | 基于自适应云模型的多模态脑部图像融合方法 | |
| CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
| CN111598964A (zh) | 一种基于空间自适应网络的定量磁化率图像重建方法 | |
| Yan et al. | SMIR: A Transformer-Based Model for MRI super-resolution reconstruction | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| Wang et al. | A deep learning algorithm for fully automatic brain tumor segmentation | |
| Cai et al. | Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| CN111429404B (zh) | 一种用于心脑血管检测的成像系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210119 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |