CN113160180A - 一种基于深度学习的磁共振图像相位复原方法 - Google Patents

一种基于深度学习的磁共振图像相位复原方法 Download PDF

Info

Publication number
CN113160180A
CN113160180A CN202110443535.6A CN202110443535A CN113160180A CN 113160180 A CN113160180 A CN 113160180A CN 202110443535 A CN202110443535 A CN 202110443535A CN 113160180 A CN113160180 A CN 113160180A
Authority
CN
China
Prior art keywords
image
phase
winding
deep learning
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110443535.6A
Other languages
English (en)
Other versions
CN113160180B (zh
Inventor
邹超
周鸿宇
程传力
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen National Research Institute of High Performance Medical Devices Co Ltd
Original Assignee
Shenzhen National Research Institute of High Performance Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen National Research Institute of High Performance Medical Devices Co Ltd filed Critical Shenzhen National Research Institute of High Performance Medical Devices Co Ltd
Priority to CN202110443535.6A priority Critical patent/CN113160180B/zh
Publication of CN113160180A publication Critical patent/CN113160180A/zh
Application granted granted Critical
Publication of CN113160180B publication Critical patent/CN113160180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于深度学习的磁共振图像相位复原方法，包括如下具体步骤：S1、仿真设计：磁共振自然图像经生成数据得到模拟相位图像，然后经模拟卷绕得到仿真卷绕相位图像；S2、预处理和模型训练：根据上述仿真卷绕相位图像中的相位值，先多层次的判断每个像素发生卷绕的可能，然后将可能发生卷绕的像素通过横纵积分整合为阶梯状的连续区域，再将这些信息输入到深度学习模型中进行训练；S3、模型训练结果：基于深度学习模型得到磁共振图像的相位复原结果。有益效果是减弱了由噪声和区域变化导致的复原效果不稳定，并降低了由于传统相位复原方法的反复迭代导致的大量时间消耗。

Description

一种基于深度学习的磁共振图像相位复原方法
技术领域
本发明涉及一种磁共振图像相位复原方法，尤其涉及一种基于深度学习的磁共振图像相位复原方法，属于磁共振相位复原技术领域。
背景技术
磁共振相位复原技术主要解决的是磁共振采集到的相位信号与实际相位之间产生的卷绕问题。相位卷绕问题是指实际存在的连续相位由于采集方式的限制只能得到[-π,π]之间的值，相当于实际相位除以2π得到的余数。而相位复原技术则是指根据卷绕后的相位图像获得实际相位值的方法。通过该方法得到的实际相位可用于磁敏感加权成像(susceptibility weighted imaging,SWI)以及定量磁化率成像(quantitativesusceptibility mapping,QSM)中。
已知磁共振相位信号的变化有一定连续性，且卷绕发生导致的变化值为2π的整数倍，所以可由此标志大致判断发生卷绕的区域。如图1所示，True Phase是目标曲线，Wrapped Phase表示卷绕曲线，相位复原的目标是从Wrapped Phase恢复True Phase，卷绕问题多发生在靠近每个2π区间边界的位置，表现出的形式是围绕0点震荡波形，而实际相位波形则是一条连续的单调线形。实际应用较多的相位复原方法也是利用这些性质，假设在相邻的一定值域的范围内不会发生卷绕，并以这个值域作为阈值划分区域，通过区域生长方法或是边界拟合的方法迭代找到最优解。
2002年，Mark Jenkinson[1]提出了一种快速、自动的N维解卷绕方法PRELUDE(Phase Region Expanding Labeller for Unwrapping Discrete Estimates)。该方法以每π/3为区间对[-π,π]的值域进行了拆分，假设每个区域内部不存在相位卷绕问题，再结合区域生长的方式不断合并相邻区域最终合并为一块完整连续的区域。
2018年Junying Cheng[2]提出了该方法的改进pixel clustering and localsurface fitting(CLOSE)，通过加入近邻点聚类的思路把分区域的阈值和合并区域后的边界进一步优化，不过由于每一个步骤都加入了近邻聚类的算法，虽然效果精细了很多，但也更大幅度地消耗了时间。
2019年Anita Karsa[3]提出Speedy rEgion-Growing algorithm forUnwrapping Estimated phase(SEGUE)方法针对相位复原技术的速度进行了优化。该方法利用3D图像连接的性质并针对每个像素周围的点加入了自定义的合并规则完成了在不降低精度情况下的算法加速。
与以上传统方法不同，Spoorthi[4]通过使用深度学习算法Phasenet进行相位复原。通过使用他们提出的PhaseNet模型，可以节省传统方法中不断迭代所花费的时间，同时再通过使用显卡加速可达到传统方法几十倍的效率。
但是，前述现有算法均存在其缺点，文献[1-3]中的方法均需要大量的时间迭代，并且由于它们都是基于阈值划分区域再进行整合的，因此在噪声干扰大的区域会划分出大量区域以至于迭代次数平方倍增加。文献[4]虽然极大的克服了传统方法的效率问题，但并不针对磁共振图像。其仿真数据的产生方式是通过高斯分布的随机叠加，比起磁共振数据更偏向雷达数据，并没有在真实磁共振数据上进行尝试。
可见，目前相位复原技术面临的挑战是由噪声和区域变化导致的复原效果不稳定，以及由于传统相位复原方法的反复迭代导致的大量时间消耗。基于以上基本事实，本发明欲在如何实现高速且鲁棒的相位复原效果方面做进一步的研究。
参考文献如下：
[1]M.Jenkinson,"Fast,automated,N-dimensional phase-unwrappingalgorithm,"Magn Reson Med,vol.49,no.1,pp.193-7,Jan 2003,doi:10.1002/mrm.10354.
[2]J.Cheng et al.,"A novel phase-unwrapping method based on pixelclustering and local surface fitting with application to Dixon water-fat MRI:Phase Unwrapping Based on Pixel Clustering and Local Surface Fitting,"vol.79,no.1,2018.
[3]A.Karsa and K.Shmueli,"SEGUE:A Speedy rEgion-Growing Algorithm forUnwrapping Estimated Phase,"IEEE Trans Med Imaging,vol.38,no.6,pp.1347-1357,Jun 2019,doi:10.1109/TMI.2018.2884093.
[4]G.Spoorthi,R.K.S.S.Gorthi,and S.J.I.T.o.I.P.Gorthi,"PhaseNet 2.0:Phase Unwrapping of Noisy Data Based on Deep Learning Approach,"vol.29,pp.4862-4872,2020.
发明内容
针对上述现存的技术问题，本发明提供一种基于深度学习的磁共振图像相位复原方法，以减弱由噪声和区域变化导致的复原效果不稳定，并降低由于传统相位复原方法的反复迭代导致的大量时间消耗。
为实现上述目的，本发明提供一种基于深度学习的磁共振图像相位复原方法，采用的磁共振相位图像复原关系式如下：
Figure BDA0003036030870000031
其中，K(r)表示卷绕的次数，ψ(r)表示卷绕的相位，φ(r)表示实际的相位，f表示相位复原的模型。
该磁共振图像相位复原方法，包括如下具体步骤：
S1、仿真设计：磁共振自然图像经生成数据得到模拟相位图像，然后随机变换；
S2、预处理和模型训练：根据上述仿真卷绕相位图像中的相位值，先多层次的判断每个像素发生卷绕的可能，然后将可能发生卷绕的像素通过横纵积分整合为阶梯状的连续区域，再将这些信息输入到深度学习模型中进行训练；
S3、模型训练结果：基于深度学习模型得到磁共振图像的相位复原结果。
进一步，步骤S1中，所述的生成数据包括如下模式：
第一种是使用原本数据信息模式：除去自然图像的背景，然后选取一种卷绕模式；
第二种是保留图像的边缘信息结合连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着去除变换图像的纹理信息，再选取一种卷绕模式；
第三种是既保留原始图像信息也模拟连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着保留变换图像的纹理信息，再选取一种卷绕模式。
更进一步，步骤S1中，所述的自然图像为有自然纹理且能够去除背景的图像。
进一步，步骤S1中，所述的模拟卷绕包括如下具体步骤：
S1-1、随机选取一种卷绕模式与生成数据得到的图像相乘；
S1-2、将得到的图像像素值归一化，随机设置1-20的整数作为卷绕强度，将像素值除以卷绕强度得到卷绕相位原图；
S1-3、将卷绕相位原图分别除以2π取余数，再平移到[-π,π]的范围，得到仿真卷绕相位图像。
更进一步，所述的卷绕模式的定义方式是：假设一个光源或强信号源在图像的某一个方位，信号从该位置发出，随着距离衰减得到一个模式，再通过反转、旋转、放大等图像变换增加更多的泛用模式；模式示例公式如下：
Figure BDA0003036030870000041
其中，x、y为图像横纵坐标；a、b为随机点，用于作为光源中心坐标。
进一步，步骤S2中，所述的预处理包括如下具体步骤：
S2-1、去除噪声影响：主要去除噪声产生可能被判断为跳变点的位置，找到仿真卷绕相位图像的大幅度噪声点然后置零，达到去除噪声的目的。
更进一步，步骤S2-1中，所述的去除噪声影响包括如下具体步骤：
Figure BDA0003036030870000042
其中，Dc表示与周围点的差值，Pn(x，y)是处理后的图像。
根据上述公式，针对仿真卷绕相位图像，找到比周围点都大或比周围点都小的极值点置零。
由上述技术方案可知，因为卷绕问题一般发生在梯度变化较大的位置，所以去除噪声影响主要是去除噪声产生可能被判断为跳变点的位置。对于原本比较连续的相位值，出现极端值的部分影响就比较大。因此通过上述公式，找到比周围点都大或比周围点都小的极值点置零来达到去除噪声的目的。
S2-2、卷绕边缘检测：通过相位本身的值和周围的梯度进行筛选，参考边缘检测Canny算法，采用两阈值的思路，即每个范围是这两个阈值，超过高的阈值表示卷绕可能性很大，低的阈值表示可能相对低一些的点，得到带正负号，即梯度变化趋势的边缘点，然后通过5*5的卷积和图像膨胀腐蚀操作得到大致的轮廓。
更进一步，步骤S2-2中，所述的卷绕边缘检测包括如下具体步骤：
Figure BDA0003036030870000051
其中，W表示得到的图像，pt表示相位值的阈值，Pn表示相位图，t表示梯度部分的阈值，D包含了每个点八个方向的梯度值，x(y)表示图像的横方向和纵方向，下角标1(2)表示低阈值和高阈值。
根据上述公式，计算相邻8个方向梯度，根据阈值筛选可能是卷绕边缘的像素，此处边缘像素点根据梯度的正负值分别标为-1和1。
由上述技术方案可知，卷绕点比较明显的特点在于相位值接近-π,π、且周围存在接近2π的梯度。根据这两个条件可以检测到卷绕区域的边缘，即通过相位本身的值和周围的梯度进行筛选。同时为了尽可能保证选到完整的区域，本步骤参考边缘检测Canny算法，采用两阈值的思路，即每个范围是这两个阈值，超过高的阈值表示卷绕可能性很大，低的阈值表示可能相对低一些的点。通过以上方法得到带正负号(梯度变化趋势)的边缘点，然后通过5*5的卷积和图像膨胀腐蚀操作得到大致的轮廓。
S2-3、区域分离：使用图像开操作让边缘点连续，并通过卷积去除横纵方向多余的像素。
S2-4、区域整合：对横纵方向边缘点积分，划分出大致卷绕区域及顺序。
更进一步，将步骤S2-3得到带正负号的区域边界通过横纵方向的积分让每个区域整合，通过基于众数的函数卷积，将每个像素周围3*3的区域的众数代替原本的值，实现横纵区域的平滑。
由上述技术方案可知，相位图中可能存在多个有卷绕的区域，这些区域如果相互重叠就会改变(1)式得到的K(r)，因此需要给整张图像一个统一的顺序，还要能反应每个区域的边界和趋势。本步骤将上一步得到带正负号的区域边界通过横纵方向的积分让每个区域整合。但这样得到的图像会存在很多细小瑕疵，故而本步骤提出基于众数的函数卷积，其效果是将每个像素周围3*3的区域的众数代替原本的值，从而实现了横纵区域的平滑。
由此可知：预处理主要起到减小噪声干扰、找到卷绕区域、整合整体区域的作用。相当于将传统方法通过卷积和积分的方法加以简化。
进一步，步骤S2中，所述的模型训练包括如下具体步骤：
将上步得到的结果连入深度学习模型中进行训练，训练过程中使用L1范数误差和残差误差方式，计算损失时需要把背景部分去除，并通过损失优化，即得到的结果与实际结果的差值的导数优化深度学习模型中的参数。
更进一步，所述的深度学习模型采用Unet或者任意分割模型。
综上，本发明使用自动升恒的仿真数据，根据相位图像的相位值及周围梯度快速完成卷绕区域的提取并完成整体图像的整合。结合深度学习模型拟合，可以远快于传统相位复原方式，并在低信噪比图像中也具有较高的鲁棒性。
而且，本发明方法不仅适用于相位复原及其引申应用，也适用于各种及基于相位仿真开发的试验模型。除此以外，本发明方法还可以适用到雷达等方面的相位复原领域，仅需调整方针时选取的背景即可。
相比现有技术，本发明的关键点和技术优势如下：
1、磁共振相位图像的仿真方法，本发明针对磁共振相位图像的模拟方法来合成可以用于真实磁共振数据的训练数据。
2、基于卷积的相位预处理方法，本发明根据相位图像的值和周围点的梯度等信息估算出卷绕区域的边界和趋势，并完成图像的整合，使模型可以对整张图像准确有序的完成相位复原，且对噪声及其他干扰有较高的鲁棒性。
附图说明
图1为现有技术中的卷绕图像示意图；
图2为本发明的步骤流程图；
图3为本发明中仿真设计的步骤流程图；
图4为本发明中预处理和模型训练的步骤流程图；
图5为本发明实施例基于噪声仿真数据的对比流程图；
图6为本发明实施例基于真实数据的对比图；
图7为本发明实施例基于真实数据的噪声对比图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明基于深度学习的磁共振图像相位复原方法采用的磁共振相位图像复原关系式如下：
Figure BDA0003036030870000071
其中，K(r)表示卷绕的次数，ψ(r)表示卷绕的相位，φ(r)表示实际的相位，f表示相位复原的模型。
如图2所示，本发明基于深度学习的磁共振图像相位复原方法包括三个主要步骤：S1、仿真设计；S2、预处理和模型训练；S3、模型训练结果。其中，预处理和模型训练实际是合并在一个步骤的，为了方便理解，在此拆开介绍。本发明采用的深度学习模型为Unet，也可用任意分割模型替代。
步骤S1的具体流程如图3所示，先从自然图像输入，磁共振自然图像经生成数据得到模拟相位图像，然后经模拟卷绕得到仿真卷绕相位图像。其中，B、C表示不同的变换模式，D、E表示对应的卷绕形式，具体展开如下。
首先，由于实际的相位难以获得，而深度学习模型需要进行有监督的训练，必须有仿照磁共振图像分布的方案来生成卷绕相位和实际相位的成对数据来训练模型，因此仿真设计步骤选取有自然纹理且容易去除背景的图像，例如眼底图像等，作为磁共振自然图像。
其次，磁共振自然图像经生成数据得到模拟相位图像，包括如下模式：
第一种是使用原本数据信息模式：除去磁共振自然图像的背景，即将定义为背景的部分置为0，然后进行随机变换；上述去除背景操作可以根据使用的素材图像自行选择，随机变换也可以任意操作，不影响本发明方法。
第二种是保留图像的边缘信息结合连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着去除变换图像的纹理信息，再选取一种卷绕模式。
第三种是既保留原始图像信息也模拟连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着保留变换图像的纹理信息，再选取一种卷绕模式。
上文提及的连续变化模式对应图3的(B)中展示的模式，对应原理是基于图像连续性的变化，作用是为了增加训练数据的多样性。
再者，模拟相位图像经模拟卷绕得到仿真卷绕相位图像，包括如下具体步骤：
S1-1、随机选取一种卷绕模式与生成数据得到的图像相乘。
卷绕模式的定义方式是：假设一个光源或强信号源在图像的某一个方位，信号从该位置发出，随着距离衰减得到一个模式，再通过反转、旋转、放大等图像变换增加更多的泛用模式；模式示例公式如下：
Figure BDA0003036030870000081
其中，x、y为图像横纵坐标；a、b为随机点，用于作为光源中心坐标。
使用的卷绕模式在图3下方展示：(B)、(C)展示的是同一模式是否加入自然纹理的两种效果，(D)、(E)展示的是与(B)、(C)对应的卷绕状态。实施时，本步骤可选择(B)、(C)或不选。
S1-2、将得到的图像像素值归一化，随机设置1-20的整数作为卷绕强度，将像素值除以卷绕强度得到卷绕相位原图；
S1-3、将卷绕相位原图分别除以2π取余数，再平移到[-π,π]的范围，实际操作就是-π*0.5，得到仿真卷绕相位图像。
步骤S2的具体流程如图4所示，根据上述仿真卷绕相位图像中的相位值，先多层次的判断每个像素发生卷绕的可能，然后将可能发生卷绕的像素通过横纵积分整合为阶梯状的连续区域，再将这些信息输入到深度学习模型中进行训练。具体展开如下。
首先，进行预处理操作，包括如下具体步骤：
S2-1、去除噪声影响，主要去除噪声产生可能被判断为跳变点的位置：
Figure BDA0003036030870000091
其中，Dc表示与周围点的差值，Pn(x，y)是处理后的图像。
根据上述公式，针对仿真卷绕相位图像，找到比周围点都大或比周围点都小的极值点，然后置零，达到去除噪声的目的。
S2-2、卷绕边缘检测：
Figure BDA0003036030870000092
其中，W表示得到的图像，pt表示相位值的阈值，Pn表示相位图，t表示梯度部分的阈值，D包含了每个点八个方向的梯度值，x(y)表示图像的横方向和纵方向，下角标1(2)表示低阈值和高阈值。
通过相位本身的值和周围的梯度进行筛选，参考边缘检测Canny算法，采用两阈值的思路，即每个范围是这两个阈值，超过高的阈值表示卷绕可能性很大，低的阈值表示可能相对低一些的点，根据上述公式，计算相邻8个方向梯度，根据阈值筛选可能是卷绕边缘的像素，此处边缘像素点根据梯度的正负值分别标为-1和1。得到带正负号，即梯度变化趋势的边缘点，然后通过5*5的卷积和图像膨胀腐蚀操作得到大致的轮廓。
S2-3、区域分离：使用图像开操作让边缘点连续，并通过卷积去除横纵方向多余的像素。
S2-4、区域整合：将步骤S2-3得到带正负号的区域边界通过横纵方向的积分让每个区域整合，通过基于众数的函数卷积，将每个像素周围3*3的区域的众数代替原本的值，实现横纵区域的平滑。
其次，进行模型训练，包括如下具体步骤：将上步得到的结果连入深度学习模型中进行训练，阈值取得是t1＝0.6π，t2＝1.2π，pt1＝0.6π，pt2＝0.8π。训练过程中使用L1范数误差和残差误差方式，残差误差方式见文献[4]，即当前像素与上下左右四个像素的差值。并通过损失优化即损失(得到的结果与实际结果的差值)的导数优化深度学习模型中的参数，计算损失时需要把背景部分去除。
步骤S3的具体流程如图2所示：基于深度学习模型得到磁共振图像的相位复原结果。
此外，为了验证本发明的可行性，利用在体组织实验分别进行了测试。附图5、6、7为现有的几种方法与本发明方法在噪声仿真图像和真实相位图像中的效果对比。实验数据的处理环境是具有
Figure BDA0003036030870000101
Xeon(R)Gold 5120CPU和NVIDIA 2080ti显卡的工作站，采用的数据处理软件是Python。
其中，根据12种不同信噪比情况下的卷绕情况，比较不同方法在不同噪声水平的表现，结果如图5所示。(A)-(F)六幅图分别代表：原始相位，幅值，加噪声后的卷绕相位，本发明方法，PhaseNet，SEGUE。可见，本发明方法在噪声图像中得到的误差是最小的。
并且，使用公开的人体磁共振相位图像进行效果对比，结果如图6所示，可以看到本发明方法比之前的深度学习方法更加适合医学图像，并且不会产生SEGUE方法中的区域丢失问题。
再者，对比大范围变化信噪比对相位复原的影响，结果如图7所示，可以看到本发明方法在SNR从1-50范围下都没有产生明显错误。
综合以上实施例可知，本发明方法在试验中的表现最为鲁棒、且没有复原错误的部分，不仅减弱了由噪声和区域变化导致的复原效果不稳定，而且降低了由于传统相位复原方法的反复迭代导致的大量时间消耗。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下，可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习的磁共振图像相位复原方法，其特征在于，采用的磁共振相位图像复原关系式如下：
Figure FDA0003036030860000011
subject to K(r)∈integers (1)
其中，K(r)表示卷绕的次数，ψ(r)表示卷绕的相位，φ(r)表示实际的相位，f表示相位复原的模型；
该方法包括如下具体步骤：
S1、仿真设计：磁共振自然图像经生成数据得到模拟相位图像，然后经模拟卷绕得到仿真卷绕相位图像；
S2、预处理和模型训练：根据上述仿真卷绕相位图像中的相位值，先多层次的判断每个像素发生卷绕的可能，然后将可能发生卷绕的像素通过横纵积分整合为阶梯状的连续区域，再将这些信息输入到深度学习模型中进行训练；
S3、模型训练结果：基于深度学习模型得到磁共振图像的相位复原结果。
2.根据权利要求1所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S1中，所述的生成数据包括如下模式：
第一种是使用原本数据信息模式：除去自然图像的背景，然后随机变换；
第二种是保留图像的边缘信息结合连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着去除变换图像的纹理信息，再选取一种卷绕模式；
第三种是既保留原始图像信息也模拟连续变化模式：先除去自然图像的背景，然后对图像进行随机变换，得到变换图像；接着保留变换图像的纹理信息，再选取一种卷绕模式。
3.根据权利要求2所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S1中，所述的模拟卷绕包括如下具体步骤：
S1-1、随机选取一种卷绕模式与生成数据得到的图像相乘；
S1-2、将得到的图像像素值归一化，随机设置1-20的整数作为卷绕强度，将像素值除以卷绕强度得到卷绕相位原图；
S1-3、将卷绕相位原图分别除以2π取余数，再平移到[-π,π]的范围，得到仿真卷绕相位图像。
4.根据权利要求3所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，所述的卷绕模式的定义方式是：假设一个光源或强信号源在图像的某一个方位，信号从该位置发出，随着距离衰减得到一个模式，再通过反转旋转放大等图像变换增加更多的泛用模式；模式示例公式如下：
Figure FDA0003036030860000021
其中，x、y为图像横纵坐标；a、b为随机点，用于作为光源中心坐标。
5.根据权利要求1所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S2中，所述的预处理包括如下具体步骤：
S2-1、去除噪声影响：主要去除噪声产生可能被判断为跳变点的位置，找到仿真卷绕相位图像的大幅度噪声点然后置零，达到去除噪声的目的；
S2-2、卷绕边缘检测：通过相位本身的值和周围的梯度进行筛选，参考边缘检测Canny算法，采用两阈值的思路，即每个范围是这两个阈值，超过高的阈值表示卷绕可能性很大，低的阈值表示可能相对低一些的点，得到带正负号，即梯度变化趋势的边缘点，然后通过5*5的卷积和图像膨胀腐蚀操作得到大致的轮廓。
S2-3、区域分离：使用图像开操作让边缘点连续，并通过卷积去除横纵方向多余的像素；
S2-4、区域整合：对横纵方向边缘点积分，划分出大致卷绕区域及顺序。
6.根据权利要求5所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S2-1中，所述的去除噪声影响包括如下具体步骤：
Figure FDA0003036030860000022
其中，Dc表示与周围点的差值，Pn(x，y)是处理后的图像；
根据上述公式，针对仿真卷绕相位图像，找到比周围点都大或比周围点都小的极值点置零。
7.根据权利要求5所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S2-2中，所述的卷绕边缘检测包括如下具体步骤：
Figure FDA0003036030860000031
其中，W表示得到的图像，pt表示相位值的阈值，Pn表示相位图，t表示梯度部分的阈值，D包含了每个点八个方向的梯度值，x(y)表示图像的横方向和纵方向，下角标1(2)表示低阈值和高阈值；
根据上述公式，计算相邻8个方向梯度，根据阈值筛选可能是卷绕边缘的像素，此处边缘像素点根据梯度的正负值分别标为-1和1。
8.根据权利要求5所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S2-4中，所述的区域整合包括如下具体步骤：
将步骤S2-3得到带正负号的区域边界通过横纵方向的积分让每个区域整合，通过基于众数的函数卷积，将每个像素周围3*3的区域的众数代替原本的值，实现横纵区域的平滑。
9.根据权利要求1所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，步骤S2中，所述的模型训练包括如下具体步骤：
将上步得到的结果连入深度学习模型中进行训练，训练过程中使用L1范数误差和残差误差方式，计算损失时需要把背景部分去除，并通过损失优化，即得到的结果与实际结果的差值的导数优化深度学习模型中的参数。
10.根据权利要求9所述的一种基于深度学习的磁共振图像相位复原方法，其特征在于，所述的深度学习模型采用Unet或者任意分割模型。
CN202110443535.6A 2021-04-23 2021-04-23 一种基于深度学习的磁共振图像相位复原方法 Active CN113160180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110443535.6A CN113160180B (zh) 2021-04-23 2021-04-23 一种基于深度学习的磁共振图像相位复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110443535.6A CN113160180B (zh) 2021-04-23 2021-04-23 一种基于深度学习的磁共振图像相位复原方法

Publications (2)

Publication Number Publication Date
CN113160180A true CN113160180A (zh) 2021-07-23
CN113160180B CN113160180B (zh) 2024-02-09

Family

ID=76870108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443535.6A Active CN113160180B (zh) 2021-04-23 2021-04-23 一种基于深度学习的磁共振图像相位复原方法

Country Status (1)

Country Link
CN (1) CN113160180B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113855229A (zh) * 2021-08-02 2021-12-31 应葵 一站式椎骨肿瘤微波消融手术仿真方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701074A (en) * 1996-04-25 1997-12-23 Eiscint Ltd. Spectral component separation including unwrapping of the phase via a poisson equation utilizing a weighting map
WO2020063013A1 (zh) * 2018-09-29 2020-04-02 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN112037304A (zh) * 2020-09-02 2020-12-04 上海大学 基于swi相位图像的两阶段的边缘增强qsm重建方法
CN112435305A (zh) * 2020-07-09 2021-03-02 上海大学 一种基于深度学习的超高分辨超声成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701074A (en) * 1996-04-25 1997-12-23 Eiscint Ltd. Spectral component separation including unwrapping of the phase via a poisson equation utilizing a weighting map
WO2020063013A1 (zh) * 2018-09-29 2020-04-02 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN112435305A (zh) * 2020-07-09 2021-03-02 上海大学 一种基于深度学习的超高分辨超声成像方法
CN112037304A (zh) * 2020-09-02 2020-12-04 上海大学 基于swi相位图像的两阶段的边缘增强qsm重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴天荣, 张立明: "一种基于迭代低通滤波相位去卷绕的扩展两点Dixon算法", 复旦学报(自然科学版), no. 01 *
程军营;王常青;冯衍秋;陈武凡;: "相位分区和局部多项式曲面拟合的相位解缠绕", 中国图象图形学报, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113855229A (zh) * 2021-08-02 2021-12-31 应葵 一站式椎骨肿瘤微波消融手术仿真方法及装置

Also Published As

Publication number Publication date
CN113160180B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN109658515B (zh) 点云网格化方法、装置、设备及计算机存储介质
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN108090894B (zh) 基于距离匹配函数和感知哈希算法的织物疵点检测方法
Haker et al. Knowledge-based segmentation of SAR data with learned priors
CN111553858A (zh) 基于生成对抗网络的图像修复方法、系统及其应用
CN111242864A (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
Cokelaer et al. Efficient robust d-dimensional path operators
Palfinger Continuous remeshing for inverse rendering
CN113160180A (zh) 一种基于深度学习的磁共振图像相位复原方法
Park et al. Deformed lattice discovery via efficient mean-shift belief propagation
Sumengen et al. Edgeflow-driven variational image segmentation: Theory and performance evaluation
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN105261005B (zh) 基于多尺度空间模糊聚类的无监督mri图像分割方法
CN115841496A (zh) Sem图像的轮廓提取方法、装置、计算机设备及存储介质
KR101279484B1 (ko) 영상 처리 장치 및 방법
Rothaug et al. Towards Unsupervised SEM Image Segmentation for IC Layout Extraction
Tekeli et al. Shape and data driven texture segmentation using local binary patterns
Yao Thangka image inpainting algorithm based on wavelet transform and structural constraints
Lederman Two dimensional image denoising using partial differential equations with a constraint on high dimensional domains
Sangeetha et al. Performance analysis of exemplar based image inpainting algorithms for natural scene image completion
Zhang et al. 3D segmentation of the liver using free-form deformation based on boosting and deformation gradients
Bundele et al. A performance enhancement of image in painting technique using texture analysis
Zhou et al. A New Class Biorthogonal Spline Wavelet for Image Edge Detection
Zhen et al. Global optimization image completion processing based on generative countermeasure network
Dargent et al. Sector-based diffusion filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant