CN114140341A - 一种基于深度学习的磁共振图像非均匀场校正方法 - Google Patents

一种基于深度学习的磁共振图像非均匀场校正方法 Download PDF

Info

Publication number
CN114140341A
CN114140341A CN202111269797.1A CN202111269797A CN114140341A CN 114140341 A CN114140341 A CN 114140341A CN 202111269797 A CN202111269797 A CN 202111269797A CN 114140341 A CN114140341 A CN 114140341A
Authority
CN
China
Prior art keywords
magnetic resonance
resonance image
block
training
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111269797.1A
Other languages
English (en)
Other versions
CN114140341B (zh
Inventor
屈小波
宋文科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202111269797.1A priority Critical patent/CN114140341B/zh
Priority claimed from CN202111269797.1A external-priority patent/CN114140341B/zh
Publication of CN114140341A publication Critical patent/CN114140341A/zh
Application granted granted Critical
Publication of CN114140341B publication Critical patent/CN114140341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于深度学习的磁共振图像非均匀场校正方法，涉及磁共振图像处理方法。包括以下步骤：获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集；设计校正磁共振图像非均匀场的深度学习网络模型；构建网络的损失函数；训练校正磁共振图像非均匀场的深度学习网络模型参数；对目标带有非均匀场的磁共振图像进行校正。通过深度学习对均匀磁共振图像和非均匀场进行联合估计的方法，具有校正误差小，图像质量高的特点。

Description

一种基于深度学习的磁共振图像非均匀场校正方法
技术领域
本发明涉及磁共振图像处理方法，尤其是涉及一种基于深度学习的磁共振图像非均匀场校正方法。
背景技术
磁共振成像(Magnetic ResonanceImaging,MRI)技术是临床上广泛使用的一种无创、无辐射的成像技术，广泛应用于临床诊断中。
磁共振图像提供丰富的组织解剖信息，但图像质量会受到很多非理想条件的影响，如非均匀场。非均匀场会导致磁共振图像强度不均匀，这会对许多磁共振图像处理技术产生影响，如图像分割。常用的校正非均匀场的方法可以分为前瞻性方法和回顾性方法。常用的前瞻性方法包括基于不同线圈的校正方法(Narayana P.A.,Brey W.W.,KulkarniM.V.,and Sievenpiper C.L.,“Compensation for surface coil sensitivityvariation in magnetic resonance imaging,”Medical Physics,vol.15,no.2,pp.241-245,1988)和基于不同序列的校正方法(Chiou Jr-Yuan,Ahn Chang Beom,Muftuler LutfiTugan,and Nalcioglu Orhan,“A simple simultaneous geometric and intensitycorrection method for echo-planar imaging by EPI-based phase modulation,”IEEETransactions on Medical Imaging,vol.22,no.2,pp.200-205,2003)等。在回顾性方法中，往往通过约束磁共振图像的分段常数性质和非均匀场的光滑缓慢变化性质来校正非均匀场(Tustison Nicholas J,Avants Brian B,Cook Philip A,Zheng Yuanjie,EganAlexander,Yushkevich Paul A,and Gee James C,“N4ITK:Improved N3 biascorrection,”IEEE Transactions on Medical Imaging,vol.29,no.6,pp.1310-20,2010.；Chunming Li,John C.Gore,and Christos Davatzikos,“Multiplicativeintrinsic component optimization(MICO)for MRI bias field estimation andtissue segmentation,”Magnetic Resonance Imaging,vol.32,no.7,pp.913-923,2014)。
近年来，深度学习在各个领域发挥巨大的作用(Tieyuan Lu,Xinlin Zhang,YihuiHuang,Di Guo,Feng Huang,Qin Xu,Yuhan Hu,Lin Ou-Yang,Jianzhong Lin,ZhipingYan,and Xiaobo Qu,“pFISTA-SENSE-ResNet for parallel MRI reconstruction,”Journal of Magnetic Resonance,vol.318,pp.106790,2020.；Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,Di Guo,Tatiana Agback,Vladislav Orekhov,and Zhong Chen,“Accelerated nuclear magnetic resonance spectroscopy with deep learning,”AngewandteChemie-International Edition,vol.59,no.26,pp.10297-10300,2020)。一些基于深度学习的校正非均匀场的方法已经出现(Fengkai Wan,
Figure BDA0003328284470000021
Smedby,andChunliang Wang,"Simultaneous MR knee image segmentation and bias fieldcorrection using deeplearning and partial convolution,"Medical Imaging 2019:Image Processing,Proceedings of SPIE E.D.Angelini and B.A.Landman,eds.,2019)。Dai等人(Xianjin Dai,Yang Lei,Yingzi Liu,Tonghe Wang,Lei Ren,Walter J.Curran,Pretesh Patel,Tian Liu,and Xiaofeng Yang,“Intensity non-uniformity correctionin MR imaging usingresidual cycle generative adversarial network,”Physics inMedicine andBiology,vol.65,no.21,pp.215025,2020)提出一种残差循环生成对抗网络，它通过判别标签均匀磁共振图像和生成的均匀磁共振图像来约束模型。Venkatesh等人(Vishal Venkatesh,Neeraj Sharma,and Munendra Singh,“Intensity inhomogeneitycorrection of MRI images using InhomoNet,”Computerized Medical Imaging andGraphics,vol.84,pp.101748,2020)提出的神经网络中包含一个多尺度模块用于捕获磁共振图像不同尺度下的信息；同时提出两个新的损失函数用以实现脑磁共振图像不同区域的像素一致性。
然而，这两种深度学习方法都只使用了均匀磁共振图像的信息，而没有充分地使用非常关键的、含有丰富可用先验的非均匀场的信息。
发明内容
本发明的目的在于提供校正误差小、图像质量高的一种基于深度学习的磁共振图像非均匀场校正方法。
本发明包括以下步骤：
1)获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集；
2)设计校正磁共振图像非均匀场的深度学习网络模型；
3)构建网络的损失函数；
4)训练校正磁共振图像上非均匀场的深度学习网络模型参数；
5)对目标带有非均匀场的磁共振图像进行校正。
在步骤1)中，所述获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集的具体方法为：
利用磁共振仪器对同一被试采集两组不同的带有非均匀场的图像Y和Z，使得：
Figure BDA0003328284470000031
其中，
Figure BDA0003328284470000032
I,J表示图像大小，Yij表示图像Y在坐标i,j处的强度，Zij表示图像Z在坐标i,j处的强度，Bij表示在坐标i,j处的非均匀场的强度；由此可以得到非均匀场和均匀的磁共振图像为：
Figure BDA0003328284470000033
其中，Xij表示在坐标i,j处均匀的磁共振图像的强度。由B、X和Y共同组成训练集。
在步骤2)中，所述深度学习网络模型由估计非均匀场的模块
Figure BDA0003328284470000034
和估计均匀磁共振图像的模块
Figure BDA0003328284470000035
组成，每个模块主要包含K个不同尺度的编码器块E、K个不同尺度的解码器块D和深度表示块R；不同尺度的编码器块E之间有一层最大池化层，不同尺度的解码器块D之间有一层上采样层；第k个编码器块Ek、解码器块Dk和深度表示块R是由N个卷积层拼接组成，每个卷积层后都有一个线性整流函数(Rectified Linear Unit,ReLU)，第n个卷积层卷积核的大小为In×In，其中k,n为大于等于1的整数，具体描述如下：
(1)估计非均匀场的模块
Figure BDA0003328284470000036
在估计非均匀场的模块
Figure BDA0003328284470000037
中，第一个编码器块
Figure BDA0003328284470000038
的映射函数可以表示为
Figure BDA0003328284470000039
经过最大池化层后映射函数可以表示为
Figure BDA00033282844700000310
其中
Figure BDA00033282844700000311
为第一个编码器块的训练参数，则K个级联的编码器块的映射函数可以表示为:
Figure BDA00033282844700000312
其中，
Figure BDA00033282844700000313
为K个编码器块训练参数的集合。EB(Y|ΘBE)表示训练从Y到EB的非线性映射，
Figure BDA00033282844700000314
是训练的各子块非线性映射
Figure BDA00033282844700000315
的组合函数。在第K个编码器块后是深度表示块RB，其映射函数可以表示为：
RB＝RB(EB|ΘBR)＝RB(EBθBR),
其中，ΘBR＝{θBR}为深度表示块RB训练参数的集合。深度表示块RB后是索引为K的解码器块
Figure BDA0003328284470000041
其映射函数可以表示为
Figure BDA0003328284470000042
经过上采样层后映射函数可以表示为
Figure BDA0003328284470000043
则K个级联的解码器块的映射函数可以表示为:
Figure BDA0003328284470000044
其中，
Figure BDA0003328284470000045
为K个级联的解码器块训练参数的集合。DB(RB|ΘBD)表示训练从RB到DB的非线性映射，
Figure BDA0003328284470000046
是训练的各子块非线性映射
Figure BDA0003328284470000047
的组合函数。
综上，K个不同尺度的编码器块EB、深度表示块RB和K个不同尺度的解码器块DB级联，得到估计非均匀场的模块
Figure BDA0003328284470000048
的映射函数为：
Figure BDA0003328284470000049
其中，ΘB＝{ΘBE,ΘBR,ΘBD}为估计非均匀场的模块
Figure BDA00033282844700000410
的训练参数的集合；
Figure BDA00033282844700000411
表示从带有非均匀场的图像Y到非均匀场
Figure BDA00033282844700000412
的非线性映射。
Figure BDA00033282844700000413
是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数。
(2)估计均匀磁共振图像的模块
Figure BDA00033282844700000414
在估计均匀磁共振图像的模块
Figure BDA00033282844700000415
中，每一个编码器块和解码器块后都有一个残差结构。第k个编码器块
Figure BDA00033282844700000416
的映射函数可以表示为
Figure BDA00033282844700000417
将估计非均匀场的模块
Figure BDA00033282844700000418
中第k个编码器块
Figure BDA00033282844700000419
的输出
Figure BDA00033282844700000420
输入到残差结构中，那么残差结构的输出可以表示为：
Figure BDA00033282844700000421
其中，
Figure BDA00033282844700000422
为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合。经过最大池化层后映射函数可以表示为
Figure BDA00033282844700000423
那么K个级联的编码器块的映射函数可以表示为:
Figure BDA0003328284470000051
其中，
Figure BDA0003328284470000052
为K个编码器块训练参数的集合。EX(Y|ΘE)表示训练从Y到EX的非线性映射，
Figure BDA0003328284470000053
是训练的各子块非线性映射
Figure BDA0003328284470000054
的组合函数。在第K个编码器块后是深度表示块RX，其映射函数可以表示为：
RX＝RX(EX|ΘR)＝RX(EX|θR),
其中，ΘR＝{θR}为深度表示块RX训练参数的集合。深度表示块RX后是索引为K的解码器块
Figure BDA0003328284470000055
其映射函数可以表示为
Figure BDA0003328284470000056
第k个解码器块
Figure BDA0003328284470000057
的映射函数可以表示为
Figure BDA0003328284470000058
将估计非均匀场的模块
Figure BDA0003328284470000059
中第k个解码器块
Figure BDA00033282844700000510
的输出
Figure BDA00033282844700000511
输入到残差结构中，那么残差结构的输出可以表示为：
Figure BDA00033282844700000512
其中，
Figure BDA00033282844700000513
为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合；经过上采样层后映射函数可以表示为
Figure BDA00033282844700000514
那么K个级联的解码器块的映射函数可以表示为:
Figure BDA00033282844700000515
其中，
Figure BDA00033282844700000516
为K个级联的解码器块训练参数的集合；DX(RX|ΘD)表示训练从RX到DX的非线性映射，
Figure BDA00033282844700000517
是训练的各子块非线性映射
Figure BDA00033282844700000518
的组合函数。
K个不同尺度的编码器块EX、深度表示块RX和K个不同尺度的解码器块DX级联，得到估计均匀磁共振图像的模块
Figure BDA00033282844700000519
的映射函数为：
Figure BDA0003328284470000061
其中，ΘX＝{ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块
Figure BDA0003328284470000062
的训练参数的集合；
Figure BDA0003328284470000063
表示从带有非均匀场的图像Y到均匀磁共振图像
Figure BDA0003328284470000064
的非线性映射；
Figure BDA0003328284470000065
是训练的各子块非线性映射EX(Y|ΘE)，RX(EX|ΘR)，DX(RX|ΘD)的组合函数。
在步骤3)中，所述网络的损失函数为：
Figure BDA0003328284470000066
其中，Θ＝{ΘB,ΘX}为整个网络训练参数的集合，b为向量化的非均匀场B，
Figure BDA0003328284470000067
为向量化的网络估计出来的非均匀场
Figure BDA0003328284470000068
x为向量化的均匀的磁共振图像X，
Figure BDA0003328284470000069
为向量化的网络估计出来的均匀的磁共振图像
Figure BDA00033282844700000610
0≤λ1,λ2,λ3≤1且λ1+λ2+λ3＝1，
Figure BDA00033282844700000611
表示向量的二范数的平方，上标T表示转置。
在步骤4)中，所述训练校正磁共振图像非均匀场的深度学习网络模型参数的具体方法为：通过最小化损失函数来估计映射函数
Figure BDA00033282844700000612
和
Figure BDA00033282844700000613
中参数Θ＝{ΘB,ΘX}的最优值
Figure BDA00033282844700000614
最小化损失函数的方法采用深度学习中的Adam算法。
在步骤5)中，所述对目标带有非均匀场的磁共振图像进行校正的具体方法为：将步骤4)中训练得到的网络模型最优值
Figure BDA00033282844700000615
作为
Figure BDA00033282844700000616
和
Figure BDA00033282844700000617
中参数Θ＝{ΘB,ΘX}；将目标带有非均匀场的磁共振图像Y输入到网络模型中，经过前向传播后，得到对应的非均匀场
Figure BDA00033282844700000618
和均匀的磁共振图像
Figure BDA00033282844700000619
可用公式表示为：
Figure BDA00033282844700000620
本发明首先通过磁共振一起获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集，前两者作为标签，后者作为网络的输入；然后设计校正磁共振图像非均匀场的深度学习网络模型，用上述的训练集求解网络最优参数构成校正非均匀场的深度学习网络模型；最后将对目标带有非均匀场的磁共振图像输入到训练好的网络进行非均匀场的校正。
本发明在对网络训练时同时利用非均匀场和均匀图像的信息，校正结果优于前沿的深度学习方法(Vishal Venkatesh,Neeraj Sharma,and Munendra Singh,“Intensityinhomogeneity correction of MRI images using InhomoNet,”Computerized MedicalImaging and Graphics,vol.84,pp.101748,2020.)。本发明通过深度学习对均匀磁共振图像和非均匀场进行联合估计，具有校正误差小，图像质量高的特点。
附图说明
图1为设计的校正磁共振图像非均匀场的深度学习网络模型。其中数字表示通道数。
图2为目标带有非均匀场的磁共振图像通过所提深度学习网络进行校正的结果。在图2中，(a)是带有非均匀场的磁共振图像，(b)是前沿的深度学习方法的校正结果，(c)是本发明的校正结果，(d)是均匀的磁共振图像，(e)是前沿的深度学习方法校正的误差图，(f)是本发明校正的误差图，(g)是非均匀场，(h)是前沿的深度学习方法估计出来的非均匀场，(i)是本发明估计出来的非均匀场。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明，本发明实施例是一个利用深度学习方法对多通道脑部数据进行重建的具体过程。
本发明实施例包括以下步骤：
第一步：获取带有非均匀场的磁共振图像；
本发明实施例使用磁场强度为3特斯拉、通道数为32的磁共振仪器对9名自愿者的大脑用两种序列进行成像。第一种序列的参数为：序列的回波时间TE＝2400ms，重复时间TR＝2.14ms。第二种序列的参数为：序列的回波时间TE＝3200ms，重复时间TR＝565ms。采集得到的磁共振图像Y和Z的大小为256×256，其中：
Figure BDA0003328284470000071
其中，
Figure BDA0003328284470000072
Yij表示图像Y在坐标i,j处的强度，Zij表示图像Z在坐标i,j处的强度，Bij表示在坐标i,j处的非均匀场的强度；由此得到非均匀场和均匀的磁共振图像为：
Figure BDA0003328284470000081
其中，Xij表示在坐标i,j处均匀的磁共振图像的强度。由此，得到9名自愿者经过磁共振仪器扫描后的脑部带有非均匀场的磁共振图像、非均匀场和均匀的磁共振图像。其中，训练集来自于8名自愿者的800对磁共振图像，测试集来自于另外一位自愿者的100对磁共振图像。
第二步：设计校正磁共振图像非均匀场的深度学习网络模型
该深度学习网络模型由估计非均匀场的模块
Figure BDA0003328284470000082
和估计均匀磁共振图像的模块
Figure BDA0003328284470000083
组成，如图1所示。每个模块主要包含4个不同尺度的编码器块E、4个不同尺度的解码器块D和1个深度表示块R；不同尺度的编码器块E之间有一层最大池化层，不同尺度的解码器块D之间有一层上采样层；第k个编码器块Ek、解码器块Dk和深度表示块R是由3个卷积层拼接组成，每个卷积层后都有一个线性整流函数(Rectified Linear Unit,ReLU)，这3个卷积层卷积核的大小分别为3×3、5×5、7×7，具体如下：
a)估计非均匀场的模块
Figure BDA0003328284470000084
在估计非均匀场的模块
Figure BDA0003328284470000085
中，第一个编码器块
Figure BDA0003328284470000086
的映射函数可以表示为
Figure BDA0003328284470000087
经过最大池化层后映射函数可以表示为
Figure BDA0003328284470000088
其中
Figure BDA0003328284470000089
为第一个编码器块的训练参数，则4个级联的编码器块的映射函数表示为:
Figure BDA00033282844700000810
其中，
Figure BDA00033282844700000811
为4个编码器块训练参数的集合。EB(Y|ΘBE)表示训练从Y到EB的非线性映射，
Figure BDA00033282844700000812
是训练的各子块非线性映射
Figure BDA00033282844700000813
的组合函数；在第4个编码器块后是深度表示块RB，其映射函数表示为：
RB＝RB(EB|ΘBR)＝RB(EB|θBR),
其中，ΘBR＝{θBR}为深度表示块RB训练参数的集合；深度表示块RB后是索引为4的解码器块
Figure BDA00033282844700000814
其映射函数可以表示为
Figure BDA00033282844700000815
经过上采样层后映射函数表示为
Figure BDA00033282844700000816
则4个级联的解码器块的映射函数表示为:
Figure BDA0003328284470000091
其中，
Figure BDA0003328284470000092
为4个级联的解码器块训练参数的集合。DB(RB|ΘBD)表示训练从RB到DB的非线性映射，
Figure BDA0003328284470000093
是训练的各子块非线性映射
Figure BDA0003328284470000094
的组合函数。
综上，4个不同尺度的编码器块EB、深度表示块RB和4个不同尺度的解码器块DB级联，得到估计非均匀场的模块
Figure BDA0003328284470000095
的映射函数为：
Figure BDA0003328284470000096
其中，ΘB＝{ΘBE,ΘBR,ΘBD}为估计非均匀场的模块
Figure BDA0003328284470000097
的训练参数的集合；
Figure BDA0003328284470000098
表示从带有非均匀场的图像Y到非均匀场
Figure BDA0003328284470000099
的非线性映射；
Figure BDA00033282844700000910
是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数。
a)估计均匀磁共振图像的模块
Figure BDA00033282844700000911
在估计均匀磁共振图像的模块
Figure BDA00033282844700000912
中，每一个编码器块和解码器块后都有一个残差结构。第k个编码器块
Figure BDA00033282844700000913
的映射函数表示为
Figure BDA00033282844700000914
将估计非均匀场的模块
Figure BDA00033282844700000915
中第k个编码器块
Figure BDA00033282844700000916
的输出
Figure BDA00033282844700000917
输入到残差结构中，那么残差结构的输出表示为：
Figure BDA00033282844700000918
其中，
Figure BDA00033282844700000919
为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合。经过最大池化层后映射函数表示为
Figure BDA00033282844700000920
那么4个级联的编码器块的映射函数表示为:
Figure BDA00033282844700000921
其中，
Figure BDA00033282844700000922
为4个编码器块训练参数的集合。EX(Y|ΘE)表示训练从Y到EX的非线性映射，
Figure BDA0003328284470000101
是训练的各子块非线性映射
Figure BDA0003328284470000102
的组合函数。在第4个编码器块后是深度表示块RX，其映射函数表示为：
RX＝RX(EX|ΘR)＝RX(EX|θR),
其中，ΘR＝{θR}为深度表示块RX训练参数的集合。深度表示块RX后是索引为4的解码器块
Figure BDA0003328284470000103
其映射函数表示为
Figure BDA0003328284470000104
第k个解码器块
Figure BDA0003328284470000105
的映射函数表示为
Figure BDA0003328284470000106
将估计非均匀场的模块
Figure BDA0003328284470000107
中第k个解码器块
Figure BDA0003328284470000108
的输出
Figure BDA0003328284470000109
输入到残差结构中，那么残差结构的输出表示为：
Figure BDA00033282844700001010
其中，
Figure BDA00033282844700001011
为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合。经过上采样层后映射函数表示为
Figure BDA00033282844700001012
那么4个级联的解码器块的映射函数表示为：
Figure BDA00033282844700001013
其中，
Figure BDA00033282844700001014
为4个级联的解码器块训练参数的集合。DX(RX|ΘD)表示训练从RX到DX的非线性映射，
Figure BDA00033282844700001015
是训练的各子块非线性映射
Figure BDA00033282844700001016
的组合函数。
综上，4个不同尺度的编码器块EX、深度表示块RX和4个不同尺度的解码器块DX级联，得到估计均匀磁共振图像的模块
Figure BDA00033282844700001017
的映射函数为：
Figure BDA00033282844700001018
其中，ΘX＝{ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块
Figure BDA00033282844700001019
的训练参数的集合；
Figure BDA00033282844700001020
表示从带有非均匀场的图像Y到均匀磁共振图像
Figure BDA00033282844700001021
的非线性映射。
Figure BDA00033282844700001022
是训练的各子块非线性映射EX(Y|ΘE)，RX(EX|ΘR)，DX(RX|ΘD)的组合函数。
设计的校正磁共振图像非均匀场的深度学习网络模型如图1所示。
第三步：构建网络的损失函数
深度学习网络的损失函数定义为：
Figure BDA0003328284470000111
其中，Θ＝{ΘB,ΘX}为整个网络训练参数的集合，b为向量化的非均匀场B，
Figure BDA0003328284470000112
为向量化的网络估计出来的非均匀场
Figure BDA0003328284470000113
x为向量化的均匀的磁共振图像X，
Figure BDA0003328284470000114
为向量化的网络估计出来的均匀的磁共振图像
Figure BDA0003328284470000115
λ1＝0.4，λ2＝0.5，λ3＝0.1，
Figure BDA0003328284470000116
表示向量的二范数的平方，上标T表示转置。
第四步：训练校正磁共振图像非均匀场的深度学习网络模型参数
通过深度学习中表现较好的Adam优化器(Diederik Kingma and Jimmy Ba,“Adam:Amethod for stochastic optimization,”arXiv preprint,arXiv:1412.6980,2014.)，利用第一步中的训练集进行100次训练，初始学习率设置为0.001，指数衰减设置为0.95，得到最小化步骤三中的损失函数
Figure BDA0003328284470000117
的参数Θ＝{ΘB,ΘX}的最优值
Figure BDA0003328284470000118
第五步：对目标带有非均匀场的磁共振图像进行校正
将第四步中训练得到的网络模型最优值
Figure BDA0003328284470000119
作为
Figure BDA00033282844700001113
和
Figure BDA00033282844700001114
中参数Θ＝{ΘB,ΘX}；将目标带有非均匀场的磁共振图像Y输入到网络模型中，经过前向传播后，得到对应的非均匀场
Figure BDA00033282844700001110
和均匀的磁共振图像
Figure BDA00033282844700001111
用公式表示为：
Figure BDA00033282844700001112
目标带有非均匀场的磁共振图像通过所提深度学习网络进行校正的结果如图2所示。
与现有前沿技术相比，本发明通过深度学习对均匀磁共振图像和非均匀场进行联合估计的方法，大大提升了图像质量。图2中的(e)图为前沿的深度学习方法(VishalVenkatesh,Neeraj Sharma,and Munendra Singh,“Intensity inhomogeneitycorrection of MRI images using InhomoNet,”Computerized Medical Imaging andGraphics,vol.84,pp.101748,2020.)的校正误差图，(f)图为本发明的校正误差图；误差图越暗表示校正误差越小，由此可知本发明的校正误差较小，图像质量较高。

Claims (6)

1.一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于包括以下步骤：
1)获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集；
2)设计校正磁共振图像非均匀场的深度学习网络模型；
3)构建网络的损失函数；
4)训练校正磁共振图像非均匀场的深度学习网络模型参数；
5)对目标带有非均匀场的磁共振图像进行校正。
2.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于在步骤1)中，所述获取带有非均匀场的磁共振图像，由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集的具体方法为：
利用磁共振仪器对同一被试采集两组不同的带有非均匀场的图像Y和Z，使得：
Figure FDA0003328284460000011
其中，
Figure FDA0003328284460000012
I,J表示图像大小，Yij表示图像Y在坐标i,j处的强度，Zij表示图像Z在坐标i,j处的强度，Bij表示在坐标i,j处的非均匀场的强度；得到非均匀场和均匀的磁共振图像为：
Figure FDA0003328284460000013
其中，Xij表示在坐标i,j处均匀的磁共振图像的强度；由B、X和Y共同组成训练集。
3.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于在步骤2)中，所述深度学习网络模型由估计非均匀场的模块
Figure FDA0003328284460000014
和估计均匀磁共振图像的模块
Figure FDA0003328284460000015
组成，每个模块主要包含K个不同尺度的编码器块E、K个不同尺度的解码器块D和深度表示块R；不同尺度的编码器块E之间有一层最大池化层，不同尺度的解码器块D之间有一层上采样层；第k个编码器块Ek、解码器块Dk和深度表示块R是由N个卷积层拼接组成，每个卷积层后都有一个线性整流函数，第n个卷积层卷积核的大小为In×In，其中k,n为大于等于1的整数，具体描述如下：
(1)估计非均匀场的模块
Figure FDA0003328284460000021
在估计非均匀场的模块
Figure FDA0003328284460000022
中，第一个编码器块
Figure FDA0003328284460000023
的映射函数表示为
Figure FDA0003328284460000024
经过最大池化层后映射函数表示为
Figure FDA0003328284460000025
其中
Figure FDA0003328284460000026
为第一个编码器块的训练参数，则K个级联的编码器块的映射函数表示为：
Figure FDA0003328284460000027
其中，
Figure FDA0003328284460000028
为K个编码器块训练参数的集合，EB(Y|ΘE)表示训练从Y到EB的非线性映射，
Figure FDA0003328284460000029
是训练的各子块非线性映射
Figure FDA00033282844600000210
的组合函数；在第K个编码器块后是深度表示块RB，其映射函数表示为：
RB＝RB(EB|ΘBR)＝RB(EB|θBR),
其中，ΘBR＝{θBR}为深度表示块RB训练参数的集合，深度表示块RB后是索引为K的解码器块
Figure FDA00033282844600000211
其映射函数表示为
Figure FDA00033282844600000212
经过上采样层后映射函数表示为
Figure FDA00033282844600000213
则K个级联的解码器块的映射函数表示为：
Figure FDA00033282844600000214
其中，
Figure FDA00033282844600000215
为K个级联的解码器块训练参数的集合；
Figure FDA00033282844600000216
表示训练从RB到DB的非线性映射，
Figure FDA00033282844600000217
是训练的各子块非线性映射
Figure FDA00033282844600000218
的组合函数；
K个不同尺度的编码器块EB、深度表示块RB和K个不同尺度的解码器块DB级联，得到估计非均匀场的模块
Figure FDA00033282844600000219
的映射函数为：
Figure FDA00033282844600000220
其中，ΘB＝{ΘBE,ΘBR,ΘBD}为估计非均匀场的模块
Figure FDA00033282844600000221
的训练参数的集合；
Figure FDA00033282844600000222
表示从带有非均匀场的图像Y到非均匀场
Figure FDA0003328284460000031
的非线性映射；
Figure FDA0003328284460000032
是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数；
(2)估计均匀磁共振图像的模块
Figure FDA0003328284460000033
在估计均匀磁共振图像的模块
Figure FDA0003328284460000034
中，每一个编码器块和解码器块后都有一个残差结构；第k个编码器块
Figure FDA0003328284460000035
的映射函数表示为
Figure FDA0003328284460000036
将估计非均匀场的模块
Figure FDA0003328284460000037
中第k个编码器块
Figure FDA0003328284460000038
的输出
Figure FDA0003328284460000039
输入到残差结构中，那么残差结构的输出表示为：
Figure FDA00033282844600000310
其中，
Figure FDA00033282844600000311
为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合；经过最大池化层后映射函数表示为
Figure FDA00033282844600000312
那么K个级联的编码器块的映射函数表示为:
Figure FDA00033282844600000313
其中，
Figure FDA00033282844600000314
为K个编码器块训练参数的集合，EX(Y|ΘE)表示训练从Y到EX的非线性映射，
Figure FDA00033282844600000315
是训练的各子块非线性映射
Figure FDA00033282844600000316
的组合函数；在第K个编码器块后是深度表示块RX，其映射函数表示为：
RX＝RX(EX|ΘR)＝RX(EX|θR),
其中，ΘR＝{θR}为深度表示块RX训练参数的集合；深度表示块RX后是索引为K的解码器块
Figure FDA00033282844600000317
其映射函数表示为
Figure FDA00033282844600000318
第k个解码器块
Figure FDA00033282844600000319
的映射函数表示为
Figure FDA00033282844600000320
将估计非均匀场的模块
Figure FDA00033282844600000321
中第k个解码器块
Figure FDA00033282844600000322
的输出
Figure FDA00033282844600000323
输入到残差结构中，那么残差结构的输出表示为：
Figure FDA0003328284460000041
其中，
Figure FDA0003328284460000042
为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合；经过上采样层后映射函数表示为
Figure FDA0003328284460000043
那么K个级联的解码器块的映射函数表示为：
Figure FDA0003328284460000044
其中，
Figure FDA0003328284460000045
为K个级联的解码器块训练参数的集合；DX(RX|ΘD)表示训练从RX到DX的非线性映射，
Figure FDA0003328284460000046
是训练的各子块非线性映射
Figure FDA0003328284460000047
的组合函数；
K个不同尺度的编码器块EX、深度表示块RX和K个不同尺度的解码器块DX级联，得到估计均匀磁共振图像的模块
Figure FDA0003328284460000048
的映射函数为：
Figure FDA0003328284460000049
其中，ΘX＝{ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块
Figure FDA00033282844600000410
的训练参数的集合；
Figure FDA00033282844600000411
表示从带有非均匀场的图像Y到均匀磁共振图像
Figure FDA00033282844600000412
的非线性映射；
Figure FDA00033282844600000413
是训练的各子块非线性映射EX(Y|ΘE)，RX(EX|ΘR)，DX(RX|ΘD)的组合函数。
4.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于在步骤3)中，所述网络的损失函数为：
Figure FDA00033282844600000414
其中，Θ＝{ΘB,ΘX}为整个网络训练参数的集合，b为向量化的非均匀场B，
Figure FDA00033282844600000415
为向量化的网络估计出来的非均匀场
Figure FDA00033282844600000416
x为向量化的均匀的磁共振图像X，
Figure FDA00033282844600000417
为向量化的网络估计出来的均匀的磁共振图像
Figure FDA00033282844600000418
0≤λ1,λ2,λ3≤1且λ1+λ2+λ3＝1，
Figure FDA00033282844600000419
表示向量的二范数的平方，上标T表示转置。
5.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于在步骤4)中，所述训练校正磁共振图像非均匀场的深度学习网络模型参数的具体方法为：通过最小化损失函数来估计映射函数
Figure FDA0003328284460000051
和
Figure FDA0003328284460000052
中参数Θ＝{ΘB,ΘX}的最优值
Figure FDA0003328284460000053
最小化损失函数的方法采用深度学习中的Adam算法。
6.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法，其特征在于在步骤5)中，所述对目标带有非均匀场的磁共振图像进行校正的具体方法为：将步骤4)中训练得到的网络模型最优值
Figure FDA0003328284460000054
作为
Figure FDA0003328284460000055
和
Figure FDA0003328284460000056
中参数
Figure FDA0003328284460000057
将目标带有非均匀场的磁共振图像Y输入到网络模型中，经过前向传播后，得到对应的非均匀场
Figure FDA0003328284460000058
和均匀的磁共振图像
Figure FDA0003328284460000059
用公式表示为：
Figure FDA00033282844600000510
CN202111269797.1A 2021-10-29 一种基于深度学习的磁共振图像非均匀场校正方法 Active CN114140341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111269797.1A CN114140341B (zh) 2021-10-29 一种基于深度学习的磁共振图像非均匀场校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111269797.1A CN114140341B (zh) 2021-10-29 一种基于深度学习的磁共振图像非均匀场校正方法

Publications (2)

Publication Number Publication Date
CN114140341A true CN114140341A (zh) 2022-03-04
CN114140341B CN114140341B (zh) 2024-06-07

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240032A (zh) * 2022-07-20 2022-10-25 中国人民解放军总医院第一医学中心 基于深度学习的3t磁共振图像生成7t磁共振图像的方法
CN115905817A (zh) * 2022-12-20 2023-04-04 无锡鸣石峻致医疗科技有限公司 一种多通道非均匀场信号降噪方法、装置和存储介质
CN116908760A (zh) * 2023-07-11 2023-10-20 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
CN109636747A (zh) * 2018-12-04 2019-04-16 上海理工大学 应用于单幅红外图像非均匀校正的深度高频网络校正算法
CN111783631A (zh) * 2020-06-29 2020-10-16 厦门大学 一种基于稀疏表示的深度学习磁共振波谱重建方法
CN112767283A (zh) * 2021-02-03 2021-05-07 西安理工大学 一种基于多图像块划分的非均匀图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
CN109636747A (zh) * 2018-12-04 2019-04-16 上海理工大学 应用于单幅红外图像非均匀校正的深度高频网络校正算法
CN111783631A (zh) * 2020-06-29 2020-10-16 厦门大学 一种基于稀疏表示的深度学习磁共振波谱重建方法
CN112767283A (zh) * 2021-02-03 2021-05-07 西安理工大学 一种基于多图像块划分的非均匀图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑建英;方青;蒋利红;谢林森;骆建华;: "基于奇异谱分析的校正磁共振图像非均匀场的新方法", 上海交通大学学报, no. 08, 28 August 2006 (2006-08-28), pages 176 - 181 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240032A (zh) * 2022-07-20 2022-10-25 中国人民解放军总医院第一医学中心 基于深度学习的3t磁共振图像生成7t磁共振图像的方法
CN115905817A (zh) * 2022-12-20 2023-04-04 无锡鸣石峻致医疗科技有限公司 一种多通道非均匀场信号降噪方法、装置和存储介质
CN115905817B (zh) * 2022-12-20 2023-11-03 无锡鸣石峻致医疗科技有限公司 一种多通道非均匀场信号降噪方法、装置和存储介质
CN116908760A (zh) * 2023-07-11 2023-10-20 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统
CN116908760B (zh) * 2023-07-11 2024-05-14 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统

Similar Documents

Publication Publication Date Title
Pezzotti et al. An adaptive intelligence algorithm for undersampled knee MRI reconstruction
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
CN108090871A (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
Venkatesh et al. Intensity inhomogeneity correction of MRI images using InhomoNet
Bao et al. Structure-adaptive sparse denoising for diffusion-tensor MRI
CN101915901A (zh) 磁共振成像方法及装置
CN110827232B (zh) 基于形态特征gan的跨模态mri合成方法
Kastryulin et al. Image quality assessment for magnetic resonance imaging
CN111080731A (zh) 弥散加权成像方法及装置
Pezzotti et al. An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge
Thurnhofer-Hemsi et al. Deep learning-based super-resolution of 3D magnetic resonance images by regularly spaced shifting
WO2020218967A1 (en) Generating synthetic electron density images from magnetic resonance images
Qian et al. Physics-informed deep diffusion MRI reconstruction: Break the bottleneck of training data in artificial intelligence
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
Cui et al. Unsupervised arterial spin labeling image superresolution via multiscale generative adversarial network
Gan et al. SS-JIRCS: Self-supervised joint image reconstruction and coil sensitivity calibration in parallel MRI without ground truth
CN116758120A (zh) 一种基于深度学习的3t mra到7t mra的预测方法
CN114140341A (zh) 一种基于深度学习的磁共振图像非均匀场校正方法
Aetesam et al. Perceptually motivated generative model for magnetic resonance image denoising
Thomaz et al. Undersampled magnetic resonance image reconstructions based on a combination of u-nets and l1, l2, and tv optimizations
CN114140341B (zh) 一种基于深度学习的磁共振图像非均匀场校正方法
Thurnhofer-Hemsi et al. Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks
CN111080730B (zh) 基于跨通道和空间加权卷积特征的脑图像解码方法及系统
Kahali et al. Convolution of 3D Gaussian surfaces for volumetric intensity inhomogeneity estimation and correction in 3D brain MR image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant