CN110490832A - 一种基于正则化深度图像先验方法的磁共振图像重建方法 - Google Patents
一种基于正则化深度图像先验方法的磁共振图像重建方法 Download PDFInfo
- Publication number
- CN110490832A CN110490832A CN201910787670.5A CN201910787670A CN110490832A CN 110490832 A CN110490832 A CN 110490832A CN 201910787670 A CN201910787670 A CN 201910787670A CN 110490832 A CN110490832 A CN 110490832A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- reconstructed
- layer
- regularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 17
- 238000013527 convolutional neural network Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 210000004556 brain Anatomy 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012307 MRI technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于正则化深度图像先验方法的磁共振图像重建方法，本发明涉及磁共振成像技术领域。本发明为了解决目前基于深度学习的磁共振图像重建算法存在局限性问题，以及为了提高重建图像的质量并缩短重建时间。本发明包括以下步骤：(1)构建神经网络模型；(2)构建包含正则项的损失函数；(3)获取部分k空间数据；(4)获取重建参考图像；(5)构造网络输入；(6)设置最大迭代次数；(7)利用网络重建图像；(8)得到网络输出图像的退化图像，结合参考图像计算损失函数，对网络参数进行优化；(9)保存指标最高的输出图像；(10)判断迭代次数是否达到最大迭代次数，是则输出最佳的重建图像，否则返回步骤(7)。与卷积神经网络相比，本发明对数据依赖较小，且能获得高质量的重建图像，并提高重建速度。
Description
技术领域
本发明涉及磁共振成像技术领域，具体涉及一种利用深度学习网络的正则化深度图像先验磁共振图像重建方法。
背景技术
磁共振成像因其无电离辐射、成像分辨率高、多参数等优势，在医学诊断中得到了广泛的应用。然而，过长的扫描时间等问题阻碍着磁共振成像技术的进一步发展和应用。近年来，随着深度学习在自然图像处理中的成功应用，基于深度学习的加速磁共振成像方法得到广泛关注，该方法首先构造卷积神经网络，并利用大量磁共振图像数据集训练网络，得到优化网络参数，从而将输入的欠采样数据重建为全采样磁共振图像。但是深度学习方法需要利用大量磁共振数据进行训练得到网络参数，而相对于自然图像来说，获取大量医学磁共振图像数据集较难，因此，深度学习方法应用在加速磁共振成像领域存在一定的局限性。
2017年，Dmitry Ulyanov等人提出深度图像先验方法[1]，利用神经网络本身获取图像的先验信息，对图像进行处理，该方法克服了传统深度学习方法对于大数据集的依赖，可在小样本图像数据情况下实现图像的去噪、修复、去模糊等，其表现优于传统压缩感知方法，但是由于缺乏大量图像数据提供的先验信息，当图像退化程度较高时，该方法重建图像效果与基于卷积神经网络(CNN)的方法仍存在一定差距。
因此，需要设计一种对数据依赖小，同时可以获得高质量重建图像的加速磁共振成像方法。
发明内容
本发明要解决的技术问题是：
本发明的目的是提供一种基于正则化深度图像先验方法的磁共振图像重建方法，为了解决目前基于深度学习的磁共振图像重建算法存在局限性问题，以及为了提高重建图像的质量并缩短重建时间。
本发明为解决上述问题所采取的技术方案是：
(1)构建神经网络模型；
(2)构建包含正则项的损失函数；其中包括均方误差、l1范数和拉普拉斯算子三部分，其中 l1范数和拉普拉斯算子作为图像正则项为网络提供图像先验信息，迭代时最小化损失函数以优化网络参数；
(3)利用预先设置的欠采样模板获取部分k空间数据；
(4)获取重建参考图像：对获取的部分k空间数据零填充后直接进行傅里叶逆变换，得到空间域退化磁共振图像作为重建的参考图像；
(5)构造网络输入：采用与重建参考图像尺寸相同的全零填充的图像作为网络的输入图像；
(6)设置合适的最大迭代次数；
(7)利用网络重建图像：将输入图像输入构建的网络，进行图像重建；
(8)将网络的输出图像利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，结合步骤(4)得到的参考图像计算损失函数，对网络参数进行优化；
(9)利用峰值信噪比(Peak Signal to Noise Ratio，PSNR)量化评价重建图像的质量，保存指标最高的重建图像；
(10)判断迭代次数是否达到设置的最大迭代次数，是则输出保存的指标最高的重建图像；
否则返回步骤(7)。
上述步骤(1)按照如下方式进行：
所采用的网络结构示意图见附图3，如无特殊说明，网络中的卷积层卷积核大小均为 3×3，步长均为1，并采用一层0填充。每个编码模块(D1～D6)由卷积层、最大池化层、正则化层、激活函数、卷积层、正则化层和激活函数组成(每个编码模块除含有对应的层，还包含有激活函数)，其中池化层核大小为2×2，步长为2，不填充，6个编码块的输出特征通道数依次为16，32，64，128，128，128。每个解码模块(U7～U1)由正则化层、卷积层、正则化层、激活函数、卷积层、正则化层、激活函数以及最近邻插值上采样层组成，其中第二个卷积层卷积核大小为1×1，步长为1，无填充，相对应的解码块的输出特征通道数分别为128，128，128，128，64，32，16，与编码块相互对应。跳跃连接层(S1～S6) 由卷积层、正则化层和激活函数组成，其卷积核大小为1×1，步长为1，无填充，跳跃连接层的输出特征通道数均为4。
上述步骤(2)按照如下方式进行：
均方误差的定义如式(1)：
其中，x表示目标图像，y表示相应算法的重建图像，m、n表示图像的尺寸，i、j则表示特定像素的位置索引，均方误差表征了各数据点偏离真实值的距离平方和的平均数，l1范数的定义如式(2)，表示图像中所有像素灰度值的绝对值之和:
其中，x表示待处理的目标图像，l1范数是l0范数的最优凸近似，用于表示图像的稀疏性，采用l1范数作为正则化项用于约束重建图像；拉普拉斯算子是一种微分算子，用于保留图像的分块平滑信息，将拉普拉斯算子作为补充的正则化项，可以更好的重建图像中边缘及细节部分，二维图像f(x,y)的拉普拉斯算子如式(3)：
其中这里的i、 j仅表示图像中特定像素的索引，应用在本发明中的拉普拉斯算子正则项采用式(4)的形式：
其中，x表示待处理的图像，将重建图像采用拉普拉斯算子进行滤波后，计算其绝对值之和作为重建图像的细节信息保留程度的表征。
上述步骤(3)按照如下方式进行：
Y＝Fux (5)
其中，x∈￡N表示无失真的原始图像，Fu＝MF，M表示预先设置的欠采样模板，F表示傅里叶变换，Y∈￡M×N表示获取的部分k空间数据。
上述步骤(4)按照如下方式进行：
其中，表示将Y中缺失的k空间信息用0填充后，再直接进行傅里叶逆变换，y∈￡M表示观测到的退化的磁共振图像，此处作为重建参考图像。
上述步骤(5)按照如下方式进行：
采用xin∈￡M作为网络的输入，xin中各像素位置的值均为0。
上述步骤(6)按照如下方式进行：
根据需求，设置最大迭代次数，通常而言在最大迭代次数小于5000时，重建图像质量随最大迭代次数的增加而提高，大于5000之后，重建图像质量几乎没有明显提高。
上述步骤(7)按照如下方式进行：
网络输出的重建图像由式(7)给出：
xout＝fnet(xin|θ) (7)
其中，xin表示步骤(4)中构造的输入图像，fnet表示步骤(1)中构建的网络，θ表示网络的参数。
上述步骤(8)按照如下方式进行：
在计算均方误差时，对xout利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，与步骤(3)、(4)的处理类似，步骤(6)中的迭代优化方程由式(8)给出：
其中第一项为数据保真项，第二项为l1范数正则化项，第三项为拉普拉斯算子正则化项，α、β为修正常量，λ、γ为可调整的超参数，用以平衡各部分的比重。
上述步骤(9)按照如下方式给出：
峰值信噪比(Peak Signal to Noise Ratio，PSNR)定义如式(9)：
PSNR的单位是dB，数值越大失真越小。n为像素的比特数，像素灰阶为256的灰度图像取8。像素均方误差(MSE)计算公式如式(1)。
在迭代过程中，通过PSNR这一指标衡量重建图像的质量，并保存重建图像质量最高的结果。
上述步骤(10)具体包括：
判断当前迭代次数是否达到步骤(6)所设置的最大迭代次数，达到预先设置的最大迭代次数时，停止迭代并输出步骤(9)保存的最佳的重建图像，未达到时，则返回步骤(7)继续迭代优化。
本发明具有以下有益技术效果：
本发明是一种压缩感知理论下的基于深度图像先验方法的磁共振图像重建方法。本发明提供的基于正则化的深度图像先验磁共振图像重建方法可以在不需要大量磁共振训练数据的情况下，通过引入有效的图像正则项，优化神经网络，从高倍欠采样数据中获得高质量重建图像，实现加速磁共振成像的目的。
本发明所提出的算法计算效率较高，可以方便的使用GPU进行加速，是一种高效的算法；同时利用本发明所提出的算法，可以在较高的欠采样倍数下，重建高质量的磁共振图像。
实验表明，与传统的卷积神经网络方法相比，本发明在不依赖大数据集的学习前提下，获得了质量较高的重建图像，同时算法重建图像的时间较短，实现了加速磁共振图像重建的目的。本发明对数据依赖性较小，且能获得高质量的重建图像，并提高重建速度。因此，本发明是一种在小样本磁共振数据下的快速磁共振图像重建算法。
附图说明
图1为本发明方法流程图。
图2为本发明方法示意图。
图3为本发明仿真实验中所采用的网络结构示意图，图中：D表示编码块，U表示解码块，S表示跳跃连接。
图4为仿真实验中所采用的脑部磁共振图像以及变密度欠采样模板的示意图；
图中：(a)脑部磁共振图像一，(b)脑部磁共振图像二，(c)4倍变密度欠采样模板，(d) 6倍变密度欠采样模板。
图5为4倍欠采样条件下采用不同方法对图4(a)中脑部磁共振图像一进行重建的结果对比示意图(4倍欠采样条件下重建结果)。图中：
(a)原图，(b)本发明重建结果(PSNR＝36.25dB)，(c)卷积神经网络重建结果(PSNR＝32.04dB)；
图6为在4倍欠采样条件下与图5相对应的重建图像与原图之间的差值图。图中：(a)本发明重建结果，(b)卷积神经网络重建结果
图7为在6倍欠采样条件下采用不同方法对图4(b)中脑部磁共振图像二进行重建的结果对比示意图。图中：
(a)原图，(b)本发明重建结果(PSNR＝31.91dB)，(c)卷积神经网络重建结果(PSNR＝28.69dB)
图8为在6倍欠采样条件下与图7相对应的重建图像与原图之间的差值图。图中：(a)本发明重建结果，(b)卷积神经网络重建结果。
具体实施方式
下面结合附图和实例对本发明进行详细说明。
如图1所示，本发明的具体实施步骤如下：
(1)构建神经网络模型；
(2)构建包含正则项的损失函数；其中包括均方误差、l1范数和拉普拉斯算子三部分，其中 l1范数和拉普拉斯算子作为图像正则项为网络提供图像先验信息，迭代时最小化损失函数以优化网络参数；
(3)利用预先设置的欠采样模板获取部分k空间数据；
(4)获取重建参考图像：对获取的部分k空间数据零填充后直接进行傅里叶逆变换，得到空间域退化磁共振图像作为重建的参考图像；
(5)构造网络输入：采用与重建参考图像尺寸相同的全零填充的图像作为网络的输入图像；
(6)设置合适的最大迭代次数；
(7)利用网络重建图像：将输入图像输入构建的网络，进行图像重建；
(8)将网络的输出图像利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，结合步骤(4)得到的参考图像计算损失函数，对网络参数进行优化；
(9)利用峰值信噪比(Peak Signal to Noise Ratio，PSNR)量化评价重建图像的质量，保存指标最高的重建图像；
(10)判断迭代次数是否达到设置的最大迭代次数，是则输出保存的指标最高的重建图像；
否则返回步骤(7)。
上述步骤(1)按照如下方式进行：
所采用的网络结构示意图见附图3，如无特殊说明，网络中的卷积层卷积核大小均为 3×3，步长均为1，并采用一层0填充。每个编码模块(D1～D6)由卷积层、最大池化层、正则化层、激活函数、卷积层、正则化层和激活函数组成，其中池化层核大小为2×2，步长为2，不填充，6个编码块的输出特征通道数依次为16，32，64，128，128，128。每个解码模块(U7～U1)由正则化层、卷积层、正则化层、激活函数、卷积层、正则化层、激活函数以及最近邻插值上采样层组成，其中第二个卷积层卷积核大小为1×1，步长为1，无填充，相对应的解码块的输出特征通道数分别为128，128，128，128，64，32，16，与编码块相互对应。跳跃连接层(S1～S6)由卷积层、正则化层和激活函数组成，其卷积核大小为1×1，步长为1，无填充，跳跃连接层的输出特征通道数均为4。
上述步骤(2)按照如下方式进行：
均方误差的定义如式(1)：
其中，x表示目标图像，y表示相应算法的重建图像，m、n表示图像的尺寸，i、j则表示特定像素的位置索引，均方误差表征了各数据点偏离真实值的距离平方和的平均数，l1范数的定义如式(2)，表示图像中所有像素灰度值的绝对值之和:
其中，x表示待处理的目标图像，l1范数是l0范数的最优凸近似，用于表示图像的稀疏性，采用l1范数作为正则化项用于约束重建图像；拉普拉斯算子是一种微分算子，用于保留图像的分块平滑信息，将拉普拉斯算子作为补充的正则化项，可以更好的重建图像中边缘及细节部分，二维图像f(x,y)的拉普拉斯算子如式(3)：
其中这里的i、 j仅表示图像中特定像素的索引，应用在本发明中的拉普拉斯算子正则项采用式(4)的形式：
其中，x表示待处理的图像，将重建图像采用拉普拉斯算子进行滤波后，计算其绝对值之和作为重建图像的细节信息保留程度的表征。
上述步骤(3)按照如下方式进行：
Y＝Fux (5)
其中，x∈￡N表示无失真的原始图像，其示意图如图4(a)、(b)所示，Fu＝MF，M表示预先设置的欠采样模板，4倍与6倍的欠采样模板示意图如图4(c)、(d)所示，F表示傅里叶变换，Y∈￡M×N表示获取的部分k空间数据。
上述步骤(4)按照如下方式进行：
其中，表示将Y中缺失的k空间信息用0填充后，再直接进行傅里叶逆变换，y∈￡M表示观测到的退化的磁共振图像，此处作为重建参考图像。
上述步骤(5)按照如下方式进行：
采用xin∈￡M作为网络的输入，xin中各像素位置的值均为0。
上述步骤(6)按照如下方式进行：
根据需求，设置最大迭代次数，通常而言在最大迭代次数小于5000时，重建图像质量随最大迭代次数的增加而提高，大于5000之后，重建图像质量几乎没有明显提高。
上述步骤(7)按照如下方式进行：
网络输出的重建图像由式(7)给出：
xout＝fnet(xin|θ) (7)
其中，xin表示步骤(4)中构造的输入图像，fnet表示步骤(1)中构建的网络，θ表示网络的参数。
上述步骤(8)按照如下方式进行：
在计算均方误差时，对xout利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，与步骤(3)、(4)的处理类似，步骤(6)中的迭代优化方程由式(8)给出：
其中第一项为数据保真项，第二项为l1范数正则化项，第三项为拉普拉斯算子正则化项，α、β为修正常量，λ、γ为可调整的超参数，用以平衡各部分的比重。
上述步骤(9)按照如下方式给出：
峰值信噪比(Peak Signal to Noise Ratio，PSNR)定义如式(9)：
PSNR的单位是dB，数值越大失真越小。n为像素的比特数，像素灰阶为256的灰度图像取8。像素均方误差(MSE)计算公式如式(1)：
在迭代过程中，通过PSNR这一指标衡量重建图像的质量，并保存重建图像质量最高的结果。
上述步骤(10)具体包括：
判断当前迭代次数是否达到步骤(6)所设置的最大迭代次数，达到预先设置的最大迭代次数时，停止迭代并输出步骤(9)保存的最佳的重建图像，未达到时，则返回步骤(7)继续迭代优化。
图5、图6分别为利用图4(a)脑部磁共振图像一，在4倍欠采样倍数下基于不同方法重建出的结果图像和差值图的对比示意图。对比图5中红色箭头标注的细节部分，可以看到，本发明所提出的基于正则化深度图像先验方法的磁共振重建算法最大程度的还原了原始图像，而传统的深度学习方法，由于学习到了相似的其他图像的信息，在重建图像的细节部分构造了一些原图中并不存在的细节信息，对比图6的差值图可以更直观地观察到重建图像中产生了一定的伪影，本发明所提出的算法，在无大数据集学习的前提下，在细节保持与重建图像质量上表现优异，重建图像质量较高。
图7、图8分别为利用图4(b)脑部磁共振图像二，在6倍欠采样倍数下基于不同方法重建出的结果图像和差值图的对比示意图。对比图7中红色箭头标注的细节部分，可以看到，在较高欠采样倍数条件下，本发明提出的算法相对于传统卷积神经网络方法可以更准确地恢复细节信息，获得更高质量的重建图像，重建图像量化指标PSNR更优。
对比图8的差值图，可以更加明显的看出，基于传统卷积神经网络算法重建的图像出现了面积较大的伪影，相较图6，说明其与原始图像之间的一致性随着欠采样倍数的增加而大幅降低，在这一点上，本发明所提出的算法明显更有优势。
表1为利用不同方法对共10张脑部磁共振图像在不同欠采样倍数下重建图像的峰值信噪比(PSNR)值列表，其中平均PSNR是对10张脑部磁共振图像重建结果的平均值。表 2为步骤8中的α、β、λ、γ四个参数在不同欠采样倍数下的参考取值。
表1在不同欠采样倍数下重建图像的峰值信噪比(PSNR)值平均值列表
表2不同欠采样倍数下各参数的参考取值
[1]Ulyanov D,Vedaldi A,Lempitsky V.Deep Image Prior[J].2017。
Claims (9)
1.一种基于正则化深度图像先验方法的磁共振图像重建方法，其特征在于，所述方法包括以下步骤：
(1)构建神经网络模型；
(2)构建包含正则项的损失函数；其中包括均方误差、l1范数和拉普拉斯算子三部分，其中l1范数和拉普拉斯算子作为图像正则项为网络提供图像先验信息，迭代时最小化损失函数以优化网络参数；
(3)利用预先设置的欠采样模板获取部分k空间数据；
(4)获取重建参考图像：对获取的部分k空间数据零填充后直接进行傅里叶逆变换，得到空间域退化磁共振图像作为重建的参考图像；
(5)构造网络输入：采用与重建参考图像尺寸相同的全零填充的图像作为网络的输入图像；
(6)设置合适的最大迭代次数；
(7)利用网络重建图像：将输入图像输入构建的网络，进行图像重建；
(8)将网络的输出图像利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，结合步骤(4)得到的参考图像计算损失函数，对网络参数进行优化；
(9)利用峰值信噪比(Peak Signal to Noise Ratio，PSNR)量化评价重建图像的质量，保存指标最高的重建图像；
(10)判断迭代次数是否达到设置的最大迭代次数，是则输出保存的指标最高的重建图像；
否则返回步骤(7)。
2.如权利要求1所述的方法，其特征在于，在步骤(1)中所构建的神经网络模型的结构为：网络中的卷积层卷积核大小均为3×3，步长均为1，并采用一层0填充；每个编码模块(D1～D6)由卷积层、最大池化层、正则化层、激活函数、卷积层、正则化层和激活函数组成，其中池化层核大小为2×2，步长为2，不填充，6个编码块的输出特征通道数依次为16，32，64，128，128，128；
每个解码模块(U7～U1)由正则化层、卷积层、正则化层、激活函数、卷积层、正则化层、激活函数以及最近邻插值上采样层组成，其中第二个卷积层卷积核大小为1×1，步长为1，无填充，相对应的解码块的输出特征通道数分别为128，128，128，128，64，32，16，与编码块相互对应；
跳跃连接层(S1～S6)由卷积层、正则化层和激活函数组成，其卷积核大小为1×1，步长为1，无填充，跳跃连接层的输出特征通道数均为4。
3.如权利要求1或2所述的方法，上述步骤(2)按照如下步骤进行：
均方误差的定义如式(1)：
其中，x表示目标图像，y表示相应算法的重建图像，m、n表示图像的尺寸，i、j则表示特定像素的位置索引，均方误差表征了各数据点偏离真实值的距离平方和的平均数，l1范数的定义如式(2)，表示图像中所有像素灰度值的绝对值之和：
其中，x表示待处理的目标图像，l1范数是l0范数的最优凸近似，用于表示图像的稀疏性，采用l1范数作为正则化项用于约束重建图像；拉普拉斯算子是一种微分算子，用于保留图像的分块平滑信息，将拉普拉斯算子作为补充的正则化项，可以更好的重建图像中边缘及细节部分，二维图像f(x,y)的拉普拉斯算子如式(3)：
其中这里的i、j仅表示图像中特定像素的索引，应用在本发明中的拉普拉斯算子正则项采用式(4)的形式：
其中，x表示待处理的图像，将重建图像采用拉普拉斯算子进行滤波后，计算其绝对值之和作为重建图像的细节信息保留程度的表征。
4.如权利要求1或2所述的方法，上述步骤(3)按照如下方式进行：
Y＝Fux (5)
其中，x∈￡N表示无失真的原始图像，Fu＝MF，M表示预先设置的欠采样模板，F表示傅里叶变换，Y∈￡M×N表示获取的部分k空间数据。
5.如权利要求4所述的方法，上述步骤(4)按照如下方式进行：
其中，表示将Y中缺失的k空间信息用0填充后，再直接进行傅里叶逆变换，y∈￡M表示观测到的退化的磁共振图像，此处作为重建参考图像。
6.如权利要求5所述的方法，上述步骤(7)按照如下方式进行：
网络输出的重建图像由式(7)给出：
xout＝fnet(xin|θ) (7)
其中，xin表示步骤(4)中构造的输入图像，fnet表示步骤(1)中构建的网络，θ表示网络的参数。
7.如权利要求6所述的方法，上述步骤(8)按照如下方式进行：
在计算均方误差时，对xout利用步骤(3)中的模板进行欠采样，将欠采样数据进行零填充，并通过傅里叶逆变换得到网络输出图像的退化图像，与步骤(3)、(4)的处理类似，步骤(8)中的迭代优化方程由式(8)给出：
其中第一项为数据保真项，第二项为l1范数正则化项，第三项为拉普拉斯算子正则化项，α、β为修正常量，λ、γ为可调整的超参数，用以平衡各部分的比重。
8.如权利要求7所述的方法，上述步骤(9)具体包括：
峰值信噪比(Peak Signal to Noise Ratio，PSNR)定义如式(9)：
PSNR的单位是dB，数值越大失真越小；n为像素的比特数，像素灰阶为256的灰度图像取8；像素均方误差(MSE)计算公式如式(1)；
在迭代过程中，通过PSNR这一指标衡量重建图像的质量，并保存重建图像质量最高的结果。
9.如权利要求1或7所述的方法，上述步骤(10)具体包括：
判断当前迭代次数是否达到步骤(6)所设置的最大迭代次数，达到预先设置的最大迭代次数时，停止迭代并输出步骤(9)保存的最佳的重建图像，未达到时，则返回步骤(7)继续迭代优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787670.5A CN110490832B (zh) | 2019-08-23 | 2019-08-23 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787670.5A CN110490832B (zh) | 2019-08-23 | 2019-08-23 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490832A true CN110490832A (zh) | 2019-11-22 |
| CN110490832B CN110490832B (zh) | 2023-05-05 |
Family
ID=68553916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910787670.5A Active CN110490832B (zh) | 2019-08-23 | 2019-08-23 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490832B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724452A (zh) * | 2020-06-17 | 2020-09-29 | 深圳高性能医疗器械国家研究院有限公司 | 一种低剂量ct图像重建方法 |
| CN112509120A (zh) * | 2019-12-19 | 2021-03-16 | 上海联影智能医疗科技有限公司 | 用于重建图像的系统和方法 |
| CN112686826A (zh) * | 2021-01-13 | 2021-04-20 | 东华大学 | 一种恶劣气候环境下的海洋搜救方法 |
| CN112767504A (zh) * | 2020-01-22 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 用于图像重建的系统和方法 |
| CN113129404A (zh) * | 2021-04-20 | 2021-07-16 | 上海科技大学 | 一种以深度学习加速的迭代式光声图像重建方法 |
| CN113359076A (zh) * | 2020-03-06 | 2021-09-07 | 上海联影医疗科技股份有限公司 | 磁共振成像方法、装置、计算机设备和存储介质 |
| CN113476064A (zh) * | 2021-07-23 | 2021-10-08 | 浙江大学 | 基于bcd-ed的单扫描双示踪剂pet信号分离方法 |
| CN113538611A (zh) * | 2021-06-21 | 2021-10-22 | 复旦大学 | 一种无监督的心脏磁共振参数定量图像重建方法 |
| CN113763499A (zh) * | 2021-08-27 | 2021-12-07 | 上海壁仞智能科技有限公司 | 核磁共振图像重建方法、装置、设备、介质及程序产品 |
| CN113989128A (zh) * | 2020-07-31 | 2022-01-28 | 山东财经大学 | 基于改进的l0梯度最小化模型的图像平滑方法及系统 |
| CN114596379A (zh) * | 2022-05-07 | 2022-06-07 | 中国科学技术大学 | 基于深度图像先验的图像重建方法、电子设备及存储介质 |
| CN114663544A (zh) * | 2022-05-26 | 2022-06-24 | 中国科学技术大学 | 一种基于深度图像先验的电阻抗图像重建方法 |
| WO2023029087A1 (zh) * | 2021-09-03 | 2023-03-09 | 中国科学院深圳先进技术研究院 | 一种低场磁共振快速成像方法、终端设备及计算机存储介质 |
| WO2024092387A1 (zh) * | 2022-10-31 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于部分可分函数自适应动态磁共振快速成像方法及装置 |
| CN118690794A (zh) * | 2024-08-29 | 2024-09-24 | 南京航空航天大学 | 一种面向复杂几何形状的时空流形神经算子构建方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070274605A1 (en) * | 2006-05-24 | 2007-11-29 | Amos Yahil | Curvature-preserving filters for denoising and controlled deblurring of images |
| US20080309662A1 (en) * | 2005-12-14 | 2008-12-18 | Tal Hassner | Example Based 3D Reconstruction |
| CN101438318A (zh) * | 2006-05-08 | 2009-05-20 | 三菱电机株式会社 | 减少场景图像中的模糊的方法和场景图像去模糊装置 |
| CN103942755A (zh) * | 2013-01-23 | 2014-07-23 | 深圳市腾讯计算机系统有限公司 | 图像亮度调节方法和装置 |
| US8886283B1 (en) * | 2011-06-21 | 2014-11-11 | Stc.Unm | 3D and 4D magnetic susceptibility tomography based on complex MR images |
| CN106530258A (zh) * | 2016-11-22 | 2017-03-22 | 哈尔滨工业大学 | 基于高阶全变分正则化的快速迭代磁共振图像重建方法 |
| EP3154022A1 (en) * | 2015-10-07 | 2017-04-12 | Univerza v Ljubljani | A method of compressive sensing-based image filtering and reconstruction, and a device for carrying out said method |
| CN106780372A (zh) * | 2016-11-30 | 2017-05-31 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| US20190035119A1 (en) * | 2016-01-29 | 2019-01-31 | The General Hospital Corporation | Systems and methods for joint image reconstruction and motion estimation in magnetic resonance imaging |
| CN109325985A (zh) * | 2018-09-18 | 2019-02-12 | 上海联影智能医疗科技有限公司 | 磁共振图像重建方法、装置和计算机可读存储介质 |
| CN109752680A (zh) * | 2017-11-03 | 2019-05-14 | 通用电气公司 | 磁共振成像系统和方法、非暂态计算机可读介质 |
| US20190147589A1 (en) * | 2017-11-10 | 2019-05-16 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image reconstruction |
| US20190236763A1 (en) * | 2018-01-30 | 2019-08-01 | Canon Medical Systems Corporation | Apparatus and method for context-oriented blending of reconstructed images |
| CN110148215A (zh) * | 2019-05-22 | 2019-08-20 | 哈尔滨工业大学 | 一种基于平滑约束和局部低秩约束模型的四维磁共振图像重建方法 |
-
2019
- 2019-08-23 CN CN201910787670.5A patent/CN110490832B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080309662A1 (en) * | 2005-12-14 | 2008-12-18 | Tal Hassner | Example Based 3D Reconstruction |
| CN101438318A (zh) * | 2006-05-08 | 2009-05-20 | 三菱电机株式会社 | 减少场景图像中的模糊的方法和场景图像去模糊装置 |
| US20070274605A1 (en) * | 2006-05-24 | 2007-11-29 | Amos Yahil | Curvature-preserving filters for denoising and controlled deblurring of images |
| US8886283B1 (en) * | 2011-06-21 | 2014-11-11 | Stc.Unm | 3D and 4D magnetic susceptibility tomography based on complex MR images |
| CN103942755A (zh) * | 2013-01-23 | 2014-07-23 | 深圳市腾讯计算机系统有限公司 | 图像亮度调节方法和装置 |
| EP3154022A1 (en) * | 2015-10-07 | 2017-04-12 | Univerza v Ljubljani | A method of compressive sensing-based image filtering and reconstruction, and a device for carrying out said method |
| US20190035119A1 (en) * | 2016-01-29 | 2019-01-31 | The General Hospital Corporation | Systems and methods for joint image reconstruction and motion estimation in magnetic resonance imaging |
| CN106530258A (zh) * | 2016-11-22 | 2017-03-22 | 哈尔滨工业大学 | 基于高阶全变分正则化的快速迭代磁共振图像重建方法 |
| CN106780372A (zh) * | 2016-11-30 | 2017-05-31 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| CN109752680A (zh) * | 2017-11-03 | 2019-05-14 | 通用电气公司 | 磁共振成像系统和方法、非暂态计算机可读介质 |
| US20190147589A1 (en) * | 2017-11-10 | 2019-05-16 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image reconstruction |
| US20190236763A1 (en) * | 2018-01-30 | 2019-08-01 | Canon Medical Systems Corporation | Apparatus and method for context-oriented blending of reconstructed images |
| CN109325985A (zh) * | 2018-09-18 | 2019-02-12 | 上海联影智能医疗科技有限公司 | 磁共振图像重建方法、装置和计算机可读存储介质 |
| CN110148215A (zh) * | 2019-05-22 | 2019-08-20 | 哈尔滨工业大学 | 一种基于平滑约束和局部低秩约束模型的四维磁共振图像重建方法 |
Non-Patent Citations (9)
| Title |
|---|
| HU,Y: "eneralized Higher Degree Total Variation (HDTV) Regularization", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| HUR, J: "CT for evaluation of urolithiasis", 《ABDOMINAL IMAGING》 * |
| VAN VEEN: "Compressed Sensing with Deep Image Prior and Learned Regularization", 《ARXIV》 * |
| 仲崇潇: "基于正则化方法的磁共振图像去噪与重建技术的研究", 《万方数据知识服务平台》 * |
| 宗财慧: "空间域序列图像超分辨重建及其鲁棒性研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 彭珂凡: "基于矩阵低秩和局部图像模型的深度图像恢复", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 机器之心: "比无所不能的DIP更强大的图像恢复方法：DeepRED", 《HTTPS://CLOUD.TENCENT.COM/DEVELOPER/ARTICLE/1419502》 * |
| 胡悦: "基于增广拉格朗日乘子的快速高阶全变分图像去噪方法", 《系统工程与电子技术》 * |
| 赵地: "基于压缩感知理论的 MR 图像重建", 《中国优秀博士学位论文全文数据库信息科技辑》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112509120A (zh) * | 2019-12-19 | 2021-03-16 | 上海联影智能医疗科技有限公司 | 用于重建图像的系统和方法 |
| CN112767504A (zh) * | 2020-01-22 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 用于图像重建的系统和方法 |
| CN113359076A (zh) * | 2020-03-06 | 2021-09-07 | 上海联影医疗科技股份有限公司 | 磁共振成像方法、装置、计算机设备和存储介质 |
| CN111724452A (zh) * | 2020-06-17 | 2020-09-29 | 深圳高性能医疗器械国家研究院有限公司 | 一种低剂量ct图像重建方法 |
| CN111724452B (zh) * | 2020-06-17 | 2024-05-28 | 深圳高性能医疗器械国家研究院有限公司 | 一种低剂量ct图像重建方法 |
| CN113989128A (zh) * | 2020-07-31 | 2022-01-28 | 山东财经大学 | 基于改进的l0梯度最小化模型的图像平滑方法及系统 |
| CN113989128B (zh) * | 2020-07-31 | 2022-07-26 | 山东财经大学 | 基于改进的l0梯度最小化模型的图像平滑方法及系统 |
| CN112686826A (zh) * | 2021-01-13 | 2021-04-20 | 东华大学 | 一种恶劣气候环境下的海洋搜救方法 |
| CN113129404A (zh) * | 2021-04-20 | 2021-07-16 | 上海科技大学 | 一种以深度学习加速的迭代式光声图像重建方法 |
| CN113538611A (zh) * | 2021-06-21 | 2021-10-22 | 复旦大学 | 一种无监督的心脏磁共振参数定量图像重建方法 |
| CN113476064B (zh) * | 2021-07-23 | 2023-09-01 | 浙江大学 | 基于bcd-ed的单扫描双示踪剂pet信号分离方法 |
| CN113476064A (zh) * | 2021-07-23 | 2021-10-08 | 浙江大学 | 基于bcd-ed的单扫描双示踪剂pet信号分离方法 |
| CN113763499A (zh) * | 2021-08-27 | 2021-12-07 | 上海壁仞智能科技有限公司 | 核磁共振图像重建方法、装置、设备、介质及程序产品 |
| CN113763499B (zh) * | 2021-08-27 | 2023-08-18 | 上海壁仞智能科技有限公司 | 核磁共振图像重建方法、装置、设备、介质 |
| WO2023029087A1 (zh) * | 2021-09-03 | 2023-03-09 | 中国科学院深圳先进技术研究院 | 一种低场磁共振快速成像方法、终端设备及计算机存储介质 |
| CN114596379A (zh) * | 2022-05-07 | 2022-06-07 | 中国科学技术大学 | 基于深度图像先验的图像重建方法、电子设备及存储介质 |
| CN114663544A (zh) * | 2022-05-26 | 2022-06-24 | 中国科学技术大学 | 一种基于深度图像先验的电阻抗图像重建方法 |
| WO2024092387A1 (zh) * | 2022-10-31 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于部分可分函数自适应动态磁共振快速成像方法及装置 |
| CN118690794A (zh) * | 2024-08-29 | 2024-09-24 | 南京航空航天大学 | 一种面向复杂几何形状的时空流形神经算子构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490832B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490832B (zh) | 一种基于正则化深度图像先验方法的磁共振图像重建方法 | |
| US10859657B2 (en) | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model | |
| WO2022047625A1 (zh) | 一种图像处理方法、系统和计算机存储介质 | |
| CN108898560B (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| CN107991636B (zh) | 一种基于适应性结构低秩矩阵的快速磁共振图像重建方法 | |
| CN108717717B (zh) | 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法 | |
| CN111311704B (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN105118078B (zh) | 欠采样的ct图像重建方法 | |
| CN109360152A (zh) | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 | |
| CN109375125B (zh) | 一种修正正则化参数的压缩感知磁共振成像重建方法 | |
| CN109360157B (zh) | 基于tv和小波正则化的空间变化模糊图像复原方法 | |
| CN107154064B (zh) | 基于深度稀疏编码的自然图像压缩感知重建方法 | |
| CN104899906B (zh) | 基于自适应正交基的磁共振图像重建方法 | |
| CN104700440B (zh) | 磁共振部分k空间图像重建方法 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN112669209A (zh) | 一种三维医学图像超分辨率重建方法和系统 | |
| CN114140442A (zh) | 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN114936977A (zh) | 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 | |
| CN117011409B (zh) | 多部位物理智能高清扩散磁共振数据生成方法 | |
| CN117523095A (zh) | 一种基于深度学习的稀疏角度THz-CT图像重建方法 | |
| CN112488920A (zh) | 一种基于类高斯模糊核的图像正则化超分辨重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |