CN110942491B - 基于块稀疏统计预测的pet-mri多模态联合重建方法 - Google Patents

Abstract

本发明公开了基于块稀疏统计预测的PET‑MRI多模态联合重建方法，是一种新的多模态图像匹配的PET‑MRI联合重建模型。首先，我们利用稀疏表示统计预测模型将PET与MRI的观测信息进行匹配；其次，利用基于数据驱动紧框架的联合重建方法对PET和MRI图像进行重建。本发明采用PAM算法高效求解所提出的模型。数值实验表明，本发明所提出的模型不仅解决了常见方法中PET观测信息与MRI观测信息不匹配的问题，还能够重建出更好的PET和MRI图像。通过与JSDDTF模型相比较，本发明的模型在相对误差、峰值信噪比以及视觉效果方面均有明显改进。

Description

基于块稀疏统计预测的PET-MRI多模态联合重建方法

技术领域

本发明属于图形分析技术领域，具体涉及一种基于块稀疏统计预测的PET-MRI多模态联合重建方法。

背景技术

PET-MRI是在PET-CT之后出现的又一个联合成像系统，它是将正电子发射计算机断层显像像(Magnetic resonance imaging,MRI)功能结合起来的一种新技术。在联合重建过程中，PET与MRI之间共享信息，即每一种模态图像在重建过程中都可以获取来自 另一种模态图像的信息。由于该成像系统结合了PET与MRI各自成像的优点，因此受 到学者的广泛关注。

近几年，M.J.Ehrhardt等人首次提出了利用最大后验法(Maximum a PosterioriEstimation,MAP)将PET与MRI之间的结构相似性信息作为先验信息进行联合重建，并 且在2014年和2015年分别提出了平行水平集(Parallel Level Set,PLS)以及联合全变分(Joint Total Variation,JTV)先验信息模型。

最近，J.K.Choi等人提出了一种基于数据驱动紧框架的PET-MRI联合重建模型(Joint Sparsity Based Data Driven Tight Frame,JSDDTF)，该模型较好地抑制了PET和MRI 图像的伪影，进一步提高了图像的成像质量。然而，Choi等人的模型并没有考虑在一些情况下，获取到的PET观测信息尺度比例较小，与MRI观测信息不匹配，因此导致在 联合重建过程中会出现PET与MRI图像无法配对的情况。为了解决这个问题，Julian Rasch等人在2017年提出了利用Bregman距离的方法进行PET-MRI联合重建，该方法 在联合重建中充分利用了两种模态图像的边界信息，较好地解决了两种模态图像观测信 息不匹配的问题。

发明内容

发明目的：基于上述描述，为了克服现有技术中存在的不足，本发明考虑联合成像中PET和MRI图像尺度不匹配的情况，基于J.K.Choi等人提出的基于数据驱动紧框架 的PET-MRI联合成像模型，利用基于稀疏表示的统计预测模型对含有PET观测信息的 弦图进行超分辨率放大，使之与MRI观测信息相匹配，提供一种基于块稀疏统计预测 的PET-MRI多模态联合重建方法，模型较好地解决了Choi等人提出模型所存在的观测 信息不匹配的问题，并且在重建图像的质量上得到了一定的提升。

技术方案：为实现上述目的，本发明采用的基于多模态图像匹配的PET-MRI联合重建方法的技术方案为：

1.1数据驱动紧框架

目前，张量积小波紧框架被广泛应用于图像重建领域，由于它能够有效地逼近图像 纹理、结构以及边缘等重要信息，因此利用它作为稀疏正则项可以使重建图像的质量得到一定的提升。而与张量积小波紧框架不同，有文献提出的数据驱动紧框架模型能够更 加稀疏地逼近输入图像，从而进一步提高图像重建的速度以及成像质量。在本发明中， 将数据驱动紧框架应用于PET-MRI联合重建的模型中，提高图像重建的质量。下面给 出数据驱动紧框架的具体构造方法，即求如下最小化问题：

其中：W表示由小波紧框架系统滤波器得到的紧框架变换算子，W^T表示W的转置，即紧框架的重构算子，u表示输入的图像，v表示紧框架的系数向量，||·||₀表示向量中非 零元素的个数，λ表示一个正值常数。

目前，这种紧框架构造方法已经扩展到多通道图像的问题上，如下所示：

其中：W_i，u_i和v_i分别表示对应于第i个通道的紧框架变换算子、输入图像和紧框架系 数，||v||_2,0＝|{k:|v₁[k]|²+…+|v_c[k]|²≠0}|，该零范数表示各通道图像之间的结构相似性，w_i表示一个正值权重系数。

1.2PET-MRI联合重建模型

基于前一小节的分析，下面讨论PET-MRI的联合重建模型。设

和

分别表示PET和MRI的图像，其大小相同。在当前PET-MRI联合成像的研究当中，重建 问题通常表示为如下最小化模型：

其中：F₁(u₁)和F₂(u₂)分别表示PET和MRI图像重建的拟合项，R(u₁,u₂)表示u₁和u₂的联合正则项。根据最大似然原理，PET拟合项可以表示成下式^[3]：

F₁(u₁)＝<1,Au₁+c>-<l₁,ln(Au₁+c)>,(4)

其中：A表示PET图像的投影系数矩阵，<·,·>表示在欧几里得向量空间上的内积，1表 示元素全为1的向量，l₁表示观测到的PET信息，c表示泊松噪声。

类似地，MRI拟合项可以表示成下式：

其中：B表示含有傅里叶变换的投影系数矩阵，l₂表示观测到的MRI信息，θ表示根据 MRI噪声水平得到的权重系数，||·||₂表示2-范数。结合以上分析，可以得到PET-MRI的联合重建模型，如下所示：

结合上一小节的分析，可以得到Choi等人提出的基于数据驱动紧框架的联合重建模型，如下所示：

其中：W₁和W₂分别表示根据PET和MRI图像得到的紧框架，θ₁以及θ₂是正值常数， 用于在重建过程中平衡两种图像的结构相似性和相异性。在实际观测中，由于MRI图 像的噪声水平比PET图像的噪声水平低，因此在模型(7)中选取的θ₂应比θ₁大。

但是，在Choi等人的模型中并没有考虑PET和MRI观测信息不匹配的问题。因此 我们考虑联合成像中PET和MRI观测信息存在不匹配的情况，基于现有的PET-MRI联 合重建模型，建立本发明模型，如下所示：

其中：K(·)表示PET观测信息的放大处理算子，用于使PET观测信息与MRI观测 信息相匹配。对于PET与MRI观测信息匹配的问题，本发明利用基于图像块稀疏表示 的统计预测模型对PET的弦图进行超分辨率放大，从而能够得到K(l₁)。具体方法详见 1.3小节。

1.3基于图像块稀疏表示的统计预测模型

为了使PET的观测信息l₁与MRI的观测信息l₂相匹配，即其大小相同，我们选择 对PET的弦图进行超分辨率放大，使之在联合重建过程中与MRI图像相匹配。对于图 像超分辨率重建，目前的常用方法有双线性差值、双三次插值、最大后验概率法等。而 在本发明我们将利用基于图像块稀疏表示的统计预测模型对PET的弦图进行超分辨率 放大。该模型已经被证明具有良好的重建性能，与其他超分辨率重建模型相比其重构图 像与真实图像之间的预测误差较小，并且重建时间得到了很好的控制。

设原始图像为p，过完备原子库，即原始图像的字典为D，α为稀疏表示系数，η 表示图像的噪声，则图像的稀疏表示模型如下所示：

p＝Dα+η, (9)

若设低分辨率图像块与高分辨率图像块的字典以及稀疏表示系数分别为D_l，D_h，α_l和α_h，则对于这两种图像块的稀疏表示形式与式(9)类似。

首先，利用MMSE(Minimum Mean Square Error)估计得到高分辨率图像块的预测，如下所示：

其中，α_h,j表示高分辨率图像块的稀疏表示系数，s_l表示在硬阈值下的稀疏模式，c_hl表 示正态分布均值矩阵，b_h,j表示高分辨率图像块的偏移向量，w_hl,j表示高分辨率图像块 与对应低分辨率图像块之间的相互作用矩阵，Φ(·)表示激活函数，在本发明中选取Sigmoid函数作为激活函数。

为了得到质量更好的高分辨率图像，我们须要对Θ＝{D_l,D_h,C_hl,b_h,W_hl}进行训练。 本发明使用下式作为损失函数：

损失函数的值越小表示图像超分辨率重建的效果越好。因此可以将图像超分辨率重 建的问题转化为求如下极小值问题：

其中，

表示哈达玛积。

其中，N表示图像块的总个数，k表示第k个图像块，b_h表示高分辨率图像稀疏模 式的偏移向量，W_hl表示高分辨率图像块与对应低分辨率图像块之间的相互作用矩阵， C_hl表示元素c集合的正态分布均值矩阵，p_l表示低分辨率图像块，p_h表示高分辨率图 像块。

2PAM算法

本发明使用PAM算法(Proximal Alternating Minimization)对所提出的模型(8)进行求 解。该算法具体如算法1所示：

对PET观测信息进行处理：

①输入PET的原弦图，得到训练样本对

②求PET原始弦图的字典D_l；

③求PET原始弦图的稀疏表示稀数

以及稀疏模式

④初始化高分辨率弦图的字典D_h，并计算其稀疏表示稀数

以及稀疏模式

⑤根据

以及

初始化预测矩阵C_hl；

⑥更新高分辨率弦图的字典D_h和预测矩阵C_hl；

⑦根据

初始化b_h和W_hl，并根据

和

更新b_h和W_hl；

⑧利用MMSE算法计算高分辨率图像稀疏系数的估计

并计算当前D_h、C_hl、b_h和W_hl的估计。之后更新高分辨率弦图的字典D_h；

⑨得到D_l、D_h、C_hl、b_h和W_hl，由此得到高分辨率PET弦图的估计。

初始化：

①利用EM算法对PET重建图像初始化，利用离散反傅立叶变换对MRI重建图像 进行初始化；初始化后得到的PET图像和MRI图像记为

②对于v，W₁和W₂的初始值，可以利用下式得到：

联合重建：

①利用投影比例梯度法求

类似地，利用投影梯度法求

②利用SVD分解法求W₁ ^k以及

③利用硬阈值公式求V^k+1[3]。

有益效果：本发明提供的基于块稀疏统计预测的PET-MRI多模态联合重建方法，与现有技术相比，是一种新的多模态图像匹配的PET-MRI联合重建模型方法。首先， 我们利用稀疏表示统计预测模型将PET与MRI的观测信息进行匹配；其次，利用基于 数据驱动紧框架的联合重建方法对PET和MRI图像进行重建。本发明采用PAM算法高 效求解所提出的模型。数值实验表明，本发明所提出的模型不仅解决了常见方法中PET 观测信息与MRI观测信息不匹配的问题，还能够重建出更好的PET和MRI图像。通过 与JSDDTF模型相比较，本发明的模型在相对误差、峰值信噪比以及视觉效果方面均有 明显改进。

附图说明

图1为PET与MRI的真实图像；其中，(a)PET真实图像，(b)MRI真实图像。

图2为两种模型重建图像比较；其中，(a)JSDDTF PET图像，(b)JSDDTF MRI 图像，(c)本模型PET图像，(d)本模型MRI图像。

图3为两种模型重建图像的局部放大图；其中，(a)JSDDTF PET局部放大，(b)JSDDTF MRI局部放大，(c)本模型PET局部放大，(d)本模型MRI局部放大。

具体实施方式

实施例：数值实验

为了验证本发明PET-MRI联合重建模型的有效性，使用了Harvard Whole BrainAtlas 提供的PET和MRI图像进行数值实验，如图1(a)、图1(b)所示，其分辨率均为256×256。

本发明采用的采样方式为10％的随机采样。

采样后，PET弦图的分辨率为256×256。为了模拟PET弦图分辨率较低的情况，利用Matlab中的imresize函数对PET弦图进行双三次差值缩小，缩小后PET弦图的分辨 率为128×128。

重建算法的参数选取为κ＝1，θ₁＝0.0245，θ₂＝2，

图2(a)(b)分别是利用JSDDTF模型重建得到的PET和MRI图 像，图2(c)(d)分别是利用本模型重建得到的PET和MRI图像。

根据图2，我们可以看出本发明提出的模型相比于JSDDTF模型能够更好地抑制噪声和伪影，同时也能够较好地保持图像的结构信息。

图3是两种模型重建图像的局部放大图。通过对比局部放大部位，可以看出我们得到的重建图像具有更加清晰的图像纹理，一定程度上改善了重建图像的细节。

为了客观地对联合重建结果进行比较，本发明选择以下量化评价指标对其进行评价：相对误差(Relative Error,RelErr)，峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)， 它们的定义如下所示：

其中：u_i表示重建后得到的图像，

表示真实图像。

表1两种模型的RelErr、PSNR值

由表1可以看出，利用本发明模型得到的PET以及MRI重建图像的相对误差比JSDDTF模型小，而且峰值信噪比比JSDDTF大，因此可以从另外一个角度证明本发明 所提出的模型可以得到更好的重建图像。

基于图2、图3和表1的分析，证明了本发明模型不仅有效地解决了PET-MRI联合 重建中伪影和匹配两大问题，同时有效提高了重建的图像质量。

综上所述，本发明考虑了在PET-MRI联合重建中匹配和伪影两大难题，在数据紧框架下，提出了一种新的PET-MRI联合重建模型。利用基于稀疏表示的统计预测模型 对PET的弦图进行放大，在最大程度上保持了原有的PET观测信息，同时提高了原弦 图的分辨率，有效地使PET图像与MRI图像相匹配。同时本发明利用PAM算法高效快 速地解决所提出的模型。数值实验表明了本发明模型的有效性，本发明所提出的模型不 仅有效地解决了PET和MRI两种模态图像的匹配问题，还很好地抑制了伪影现象，提 高了重建图像的质量。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员 来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于块稀疏统计预测的PET-MRI多模态联合重建方法，其特征在于：包括以下步骤：

首先，利用稀疏表示统计预测模型将PET与MRI的观测信息进行匹配：对PET的弦图进行超分辨率放大，使之在联合重建过程中与MRI图像相匹配，使得PET的观测信息l₁与MRI的观测信息l₂相匹配，即其大小相同；

其次，利用基于数据驱动紧框架的联合重建方法对PET和MRI图像进行重建，得到PET-MRI联合重建模型为：

s.t.W_i ^TW_i＝I,i＝1,2,

其中，W_i和v_i分别表示对应于第i个通道的紧框架变换算子、输入图像和紧框架系数；

和

分别表示PET和MRI的图像，F₁(u₁)和F₂(u₂)分别表示PET和MRI图像重建的拟合项；||v||_2,0＝|{k:|v₁[k]|²+…+|v_c[k]|²≠0}|，||·||₂表示2-范数，λ表示正值常数；A表示PET图像的投影系数矩阵，<·,·>表示在欧几里得向量空间上的内积，1表示元素全为1的向量，l₁表示观测到的PET信息，c表示泊松噪声；θ₁以及θ₂是正值常数，用于在重建过程中平衡两种图像的结构相似性和相异性；K(·)表示PET观测信息的放大处理算子，用于使PET观测信息与MRI观测信息相匹配；

其中，利用基于图像块稀疏表示的统计预测模型对PET的弦图进行超分辨率放大的具体方法为：

设原始图像为p，过完备原子库，即原始图像的字典为D，α为稀疏表示系数，η表示图像的噪声，则图像的稀疏表示模型如下所示：

p＝Dα+η, (2)

若设低分辨率图像块与高分辨率图像块的字典以及稀疏表示系数分别为D_l，D_h，α_l和α_h，则对于这两种图像块的稀疏表示形式与式(2)类似；

首先，利用MMSE估计得到高分辨率图像块的预测：

其中，

表示高分辨率图像块的稀疏表示系数，s_l表示在硬阈值下的稀疏模式，c_hl,j表示正态分布均值矩阵，b_h,j表示高分辨率图像块的偏移向量，w_hl,j表示高分辨率图像块与对应低分辨率图像块之间的相互作用矩阵，Φ(·)表示激活函数，选取Sigmoid函数作为激活函数；

其次，对Θ＝{D_l,D_h,C_hl,b_h,W_hl}进行训练，使用的损失函数L(Θ)为：

其中，N表示图像块的总个数，k表示第k个图像块，b_h表示高分辨率图像稀疏模式的偏移向量，W_hl表示高分辨率图像块与对应低分辨率图像块之间的相互作用矩阵，C_hl表示元素c集合的正态分布均值矩阵，p_l表示低分辨率图像块，p_h表示高分辨率图像块；

将图像超分辨率重建的问题转化为求极小值问题：

其中，

表示哈达玛积，Φ(·)表示激活函数。

2.根据权利要求1所述的基于块稀疏统计预测的PET-MRI多模态联合重建方法，其特征在于：使用PAM算法对所提出的模型(1)进行求解，具体为：

(1)对PET观测信息进行处理：

①将PET观测信息l₁转化成弦图sinogram_PET；

②利用基于图像块稀疏表示的统计预测模型对sinogram_PET进行放大；

③根据sinogram_PET得到与MRI相匹配的PET观测信息，即K(l₁)；

(2)初始化u₁，u₂，W₁，W₂以及v；

(3)联合重建：

①利用投影比例梯度法求

利用投影梯度法求

②利用SVD分解法求W₁ ^k以及

③利用硬阈值公式求V^k+1。

3.根据权利要求2所述的基于块稀疏统计预测的PET-MRI多模态联合重建方法，其特征在于：对PET观测信息进行处理的具体步骤为：

①输入PET的原弦图，得到训练样本对

②求PET原始弦图的字典D_l；

③求PET原始弦图的稀疏表示稀数

以及稀疏模式

④初始化高分辨率弦图的字典D_h，并计算其稀疏表示稀数

以及稀疏模式

⑤根据

以及

初始化预测矩阵C_hl；

⑥更新高分辨率弦图的字典D_h和预测矩阵C_hl；

⑦根据

初始化b_h和W_hl，并根据

和

更新b_h和W_hl；

⑧利用MMSE算法计算高分辨率图像稀疏系数的估计

并计算当前D_h、C_hl、b_h和W_hl的估计，之后更新高分辨率弦图的字典D_h；

⑨得到D_l、D_h、C_hl、b_h和W_hl，由此得到高分辨率PET弦图的估计。

4.根据权利要求2所述的基于块稀疏统计预测的PET-MRI多模态联合重建方法，其特征在于：初始化的具体方法为：

①利用EM算法对PET重建图像初始化，利用离散反傅立叶变换对MRI重建图像进行初始化；初始化后得到的PET图像和MRI图像记为

②对于v，W₁和W₂的初始值，利用下式得到：

5.根据权利要求2所述的基于块稀疏统计预测的PET-MRI多模态联合重建方法，其特征在于：联合重建的具体方法为：

①优化u₁、u₂：

②优化W₁、W₂：

③优化v：

Images