CN114170080A - 基于非凸低秩张量近似的图像超分辨率重建系统 - Google Patents

Abstract

本发明涉及基于非凸低秩张量近似的图像超分辨率重建系统。在医学领域，磁共振图像(MRI)、计算机断层扫描图像等诸多医学成像方面总受到医疗系统固有硬件、医学图像采集时间的制约而缺乏高分辨率(HR)的医学图像。针对医学图像超分(SR)问题，本发明利用耦合加权三维全变分(3DTV)的块张量非凸近似方法来提高医学图像的分辨率。首先，对输入的低分辨率图像进行块匹配操作形成4D块，然后采用非凸张量惩罚函数挖掘其中蕴含的低秩结构特性、非局部自相似性。采用加权的三维全变分正则项来挖掘医学图像数据的局部平滑特性。该方法解决了医学图像的分辨率增强、抑制噪声及图像细节恢复等问题并实验验证了在不同采样率、噪声水平下该算法的优越性和泛化性。

Description

基于非凸低秩张量近似的图像超分辨率重建系统

技术领域

本发明涉及一种医学图像超分辨率重建方法，具体说是一种基于非凸低秩张量近似的图像超分辨率重建方法。

背景技术

医学影像作为临床诊断的重要工具，近年已得到更多的发展和广泛应用。图像恢复作为医学影像领域中的基础研究工作变得越来越重要，其中图像超分辨率重建技术作为图像恢复的重要手段，可以在不提高硬件的条件下从LR图像中恢复出HR图像。现阶段，基于插值、重构和学习的图像超分问题已被提出，但医学图像超分技术还面临着许多挑战。此外，图像超分辨率重建往往伴随着低分辨率图像细节缺失，噪声影响等问题，这也给图像恢复工作带来了许多难题。

发明内容

针对上述技术不足，本发明的目的提供一种基于非凸低秩张量近似的图像超分辨率重建方法。该发明能够根据医学数据的先验知识挖掘其中的低秩性、非局部自相似性及局部平滑性。在提高图像分辨率同时抑制噪声，在不同采样率和噪声水平条件下均具有优越性和泛化性。

本发明解决其技术问题所采用的技术方案是：

基于非凸低秩张量近似的图像超分辨率重建系统，包括图像预处理模块、超分辨率重建图像恢复模型建立模块；

所述图像预处理模块，用于将原始低分辨率图像LR进行预处理；

所述超分辨率重建图像恢复模型建立模块，包括在三维医学图像的退化模型基础上添加非凸张量惩罚项、加权三维TV正则项，再反复迭代优化求解，生成超分辨率重建图像恢复模型，该恢复模型用于重建原始低分辨率图像LR得到清晰图像。

所述图像预处理模块包括：上采样单元、切块单元；

所述上采样单元，将原始低分辨率图像LR进行上采样，获取待恢复的高分辨率图像Ξ；

所述切块单元，对图像张量Ξ进行切块操作，并找到各个图块与周围图块的非局部自相似性，得到若干分组的4D非局部自相似块。

所述切块单元对图像张量Ξ进行切块操作，并找到各个图块与周围图块的非局部自相似性，得到若干分组的4D非局部自相似块，包括：

1).将整幅图像张量Ξ切块，所述每个图像块均与相邻图像块存在重叠边界；

2).对于每个图像块，在整幅三维医学图像张量Ξ中采用欧氏距离寻找与之最相似的K个图像块(本文设置N＝30)，构成一组；

3).将相似的3阶图像块堆叠起来构成一个4D非局部自相似块

进一步的，所述堆叠为依次排列在一起。

所述生成的超分辨率重建图像恢复模型为：

引入MCP惩罚项、3DTV正则项、辅助变量

和Φ，定义ψ为提取的4D非局部自相似图像块的操作，得到如下形式：

s.t.Ξ＝Μ_i,Φ＝G_ω(Ξ),i＝1,...,4

其中，||Y-DSX||为三维医学图像的退化模型，Y代表观测的LR图像，D是下采样算子，S是模糊算子，Ξ代表待恢复的高分辨率图像HR；

为非凸张量惩罚项，α_i为图像张量Ξ沿各模式展开的矩阵核范数系数，α_i≥0且

为4D非局部自相似块，

是MCP惩罚函数；λ₂||F||₁为加权三维TV正则项，

x_ijk为图像张量Ξ的第(i,j,k)个元素，ω_j(j＝1,2,3)是沿着Ξ第j个模式正则项的权重；G_ω(·)＝[ω₁×G_h(·)；ω₂×G_v(·)；ω₃×G_t(·)]为加权3DTV算子，G_h(·)、G_v(·)和G_t(·)分别为图像数据Ξ三个不同维度的一阶差分算子。

所述反复迭代优化求解是采用ADMM算法。

所述当每次图像重建后需要计算两次恢复数据的误差，从而判断图像重建的收敛性；

进一步的，所述的误差函数为:

θ＝||X^L-X^L-1||/||Y||

其中，L为迭代次数，Ξ为恢复数据，Ψ为观测数据。

基于非凸低秩张量近似的图像超分辨率重建方法，包括以下步骤：

S1、采集原始低分辨率图像LR；

S2、输入图像预处理模块进行预处理，得到的图像张量Ξ、4D非局部自相似块；

S3、超分辨率重建图像恢复模型建立模块，依次进行处理，重建原始低分辨率图像LR的清晰图像。

所述依次进行处理包括：

S31、将原始低分辨率图像LR和预处理得到的图像张量Ξ输入三维医学图像的退化模型单元；

S32、将图像张量Ξ输入加权三维TV正则项单元；

S33、将若干分组的4D非局部自相似块

输入非凸张量惩罚项单元；

S34、再拼接最终重建待恢复的高分辨率图像Ξ的清晰图像。

本发明具有以下有益效果及优点：

1.本发明方法采用非凸张量惩罚函数，挖掘医学数据中的低秩性、非局部自相似性先验信息，并通过非凸无偏估计实现对数据的有效近似估计；

2.本发明方法采用加权三维TV正则项，挖掘医学数据中的不同维度的局部平滑性，保证了不同维度的局部平滑效果。

3.本发明方法在对医学图像超分方面要优于现有的算法，在不同采样率以及噪声水平下恢复效果尤为突出。

附图说明

图1是本文方法整体框架图；

图2是选定模型参数过程；

图3是在Brainweb数据集上的超分辨率结果展示；

图4是在Cardiac MRI数据集上的超分辨率结果展示；

图5是在ISH数据上的超分辨率结果展示；

具体实施方式

下面结合实施例对本发明做进一步的详细说明。结合附图对方法步骤进行说明。

本发明的基于非凸低秩张量近似的图像超分辨率重建模型，包括三项：超分项用于保证观测数据与原始数据的保真性；非凸张量惩罚项用于挖掘医学数据的低秩特性和非局部自相似性；加权三维TV正则项用于保持医学数据各个维度的局部平滑性。所述模型能够对医学图像进行超分辨率重建，解决了医学图像分辨率的提高、抑制噪声以及图像细节恢复等问题。将医学数据以张量形式作为输入，通过设置不同的采样率、模糊算子和噪声水平来形成观测数据。对医学图像分割成一组图像块，找到与选定块最相似的一组块进行堆叠，形成4D非局部自相似块。所述图像恢复模型包括：非凸张量惩罚项，对医学数据块匹配操作后形成的4D块进行张量MCP惩罚，进而挖掘其低秩性和非局部自相似性；加权三维TV正则项是对医学数据不同维度采用不同权重的TV来挖掘数据的局部空间平滑性和切片维度上的平滑性。

1.医学图像的观测模型

图像超分辨率重建,是由LR图像恢复出HR图像。HR图像退化为LR图像的过程定义为：

Ψ＝DSΞ+ε (1)

其中Y代表观测的LR图像，D是下采样算子，S是模糊算子，Ξ代表原始的HR图像，ε代表噪声。图像超分辨率重建是病态问题，为了使求解唯一，引入正则项来消除不确定性。HR图像可以通过最小化目标成本函数来估计，求解模型如下：

其中，||DSΞ-Ψ||²为保真项，R(Ξ)是基于先验信息的正则项，λ是正则项系数，用来平衡保真项和正则项。

2.基于非凸低秩张量近似的图像超分辨率重建模型

本发明中所提出的基于非局部低秩张量分解的三维医学图像超分辨率模型如下:

其中，λ₁和λ₂为正则化参数，

采用非凸MCP张量惩罚函数，其根据图像中蕴含非局部图像块自相似性的特点，对图像块匹配后形成的四阶张量进行低秩性约束；TV(Ξ)为加权3DTV正则项，可以在抑制噪声的同时保留图像边缘细节。

2.1非凸张量惩罚函数项

非局部自相似性是基于块的重要先验知识，刻画图像非局部区域纹理或者结构具有重复出现的特性，能够用来有效的保持图像的边缘细节信息。首先，将图像分成一组图像块，通过块匹配的方法可以获得与选定块最相似的一组块，然后，堆叠这些相似块形成4D非局部自相似块。这些4D块具有较大的低秩性，对其进行张量MCP惩罚函数约束其低秩性和非局部自相似性。其中张量MCP惩罚函数形式如下：

其中，α_i为张量沿各模式展开的矩阵核范数系数，α_i≥0且

矩阵X的非凸惩罚函数定义为：

其中，σ_j(X)是矩阵的第X个奇异值，r是矩阵X的秩。P_λ是非凸惩罚函数，本发明中采用的MCP惩罚函数，有如下形式：

其中，a是固定参数，与张量核范数形式相似。

2.2加权三维TV正则项

全变分是常用一种正则项，被广泛应用于挖掘空间域像素级的平滑结构先验。可以在保持图像边缘的同时抑制噪声。考虑医学数据可视为一个三维张量，故而可以用一个带权重的3DTV正则项来挖掘医学数据的空间域和切片域的局部平滑性，公式如下：

其中，x_ijk为Ξ的第(i,j,k)个元素，ω_j(j＝1,2,3)是沿着Ξ第j个模式正则项的权重。

2.3基于非凸低秩张量近似模型

引入MCP惩罚项、3DTV正则项、辅助变量

和Φ，定义ψ为提取图像块的操作，模型(3)可以等价于如下形式：

其中，G_ω(·)＝[ω₁×G_h(·)；ω₂×G_v(·)；ω₃×G_t(·)]为加权3DTV算子，G_h(·)、G_v(·)和G_t(·)分别为医学图像数据三个不同维度的一阶差分算子。

3.算法优化求解

根据ADMM算法求解出高分辨率张量Ξ。令l表示第l次迭代，则在第(l+1)次迭代中各个变量更新公式如下：

更新Ξ：

其中，

分别为S和D的逆操作，G'_ω是G_ω的伴随。这种线性系统能通过预条件共轭梯度法进行求解。

更新

其中，S_τ(X)为奇异值算子，

是X的奇异值分解，W_i为权重矩阵。

更新Μ_i：

更新Φ：

其中，Soft_Δ(x)为软阈值操作。

更新

和

是拉格朗日参数，γ是一个固定参数，取1.05。惩罚参数μ和ν遵循一个自适应更新条件，可以加快所提优化算法的收敛。以μ为例，首先确定一个初始值，如0.001。之后按下式更新：

μ←c₁·μif Res＞c₂·Res_pre (14)

其中c₁取1.15，c₂取0.95。Res＝||Ψ-DSΞ^(l+1)||_F，Res_pre＝||Ψ-DSΞ^(l)||_F。

4.实验结果

我们在三个医学图像数据集上进行了对比实验，来测试算法的有效性。所用数据分别为：来自Brainweb数据库中分辨率为1×1×1mm³的T1 MR虚拟合成数据、来自CardiacMRI数据库的33组心脏MRI数据和来自ISH数据库的3组成年恒河猴脑部MRI数据。三个数据集的数据大小分别为181×217×181、256×256×M(M∈[160,300])、256×256×N(N∈[82,88])。

4.1实验环境及参数设置

所有实验均在64.0GB内存的Intel(R)Core(TM)i7-7700 CPU@3.60GHZ 3.60GHZ处理器下进行。实验中，模糊操作采用标准差为1体素的高斯模糊核；下采样的采样率为2或3；噪声为方差为σ²(σ＝3)的加性高斯噪声。

我们对每个数据集的每个切片数据归一化到区间[0，255]，这有助于比较不同SR方法的实验结果指标值。TV(Ξ)正则项中的权重系数ω_j设定如下：无噪声情况下ω₁和ω₂设为1，ω₃设为0.8；有噪声情况下ω₁和ω₂设为1.8，ω₃设为0.2。提取图像块操作中矩阵相似块的大小设定为8×8，每个矩阵块对应相似块的个数N＝30。公式(4)中参数α_i均设为0.25。公式(6)中固定参数a设为5。实验终止条件为两次迭代之差θ小于1e-5，其中θ＝||X^L-X^L-1||/||Y||。

我们基于小数据(无噪声、下采样率为2时的Brainweb T1 MR虚拟合成数据的10张切片图像)来选取本文算法中的两个正则化参数，即λ₁和λ₂。经过调参，观测恢复的性能指标选取参数的值。由于λ₂是主要影响参数，所以我们首先优化λ₂，再去优化λ₁。图2中子图(a)和子图(b)分别展示的是λ₁和λ₂变化，其他参数固定时，算法在无噪声Brainweb T1 MR数据上的定量PSNR结果值。从变化曲线上的一些候选值中选取λ₁为20，选取λ₂为0.05。有噪声情况下，选取λ₁为20，选取λ₂为0.4。

此外，本文算法应用了非局部相似块匹配的操作，因此也需要对相似块数目进行选取。小数据Brainweb T1 MR在无噪声、下采样率为2情况下获得的PSNR、SSIM指标值的变化情况如图2中子图(c)和子图(d)所示。可以看出相似块数量在20以上指标值均趋于稳定。在本文实验中，相似块数量均取为30。

4.2实验结果展示

为了验证算法的有效性，我们和三种SR算法进行了对比，对比方法分别为：非局部自回归模型(NARM)、低秩全变分方法(LRTV)和张量分解-单幅图像的超分辨率方法(TF-SISR)。实验使用两个定量的图像质量指标来评价重建图像的质量，即峰值信噪比(PSNR)和结构相似性(SSIM)。

表1无噪声情况下的医学图像复原指标对比

表2有噪声情况下的医学图像复原指标对比(σ＝3)

我们给出了各算法的可视化结果。图3为Brainweb T1 MR数据第104帧在三种情况(A:无噪声，下采样率为2；B：无噪声，下采样率为3；C：有噪声，下采样率为2)下的视觉恢复效果。相似地，图4为Cardiac MRI数据第21帧在三种情况下视觉恢复效果。图5为ISH数据第23帧在三种情况下的视觉恢复效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (8)

1.基于非凸低秩张量近似的图像超分辨率重建系统，其特征在于，包括图像预处理模块、超分辨率重建图像恢复模型建立模块；

所述图像预处理模块，用于将原始低分辨率图像LR进行预处理；

所述超分辨率重建图像恢复模型建立模块，包括在三维医学图像的退化模型基础上添加非凸张量惩罚项、加权三维TV正则项，再反复迭代优化求解，生成超分辨率重建图像恢复模型，该恢复模型用于重建原始低分辨率图像LR得到清晰图像。

2.根据权利要求1所述的基于非凸低秩张量近似的图像超分辨率重建系统，其特征在于，所述图像预处理模块包括：上采样单元、切块单元；

所述上采样单元，将原始低分辨率图像LR进行上采样，获取待恢复的高分辨率图像Ξ；

所述切块单元，对图像张量Ξ进行切块操作，并找到各个图块与周围图块的非局部自相似性，得到若干分组的4D非局部自相似块。

3.根据权利要求2所述的基于非局部低秩张量分解的三维医学图像超分辨率方法，其特征在于，所述切块单元对图像张量Ξ进行切块操作，并找到各个图块与周围图块的非局部自相似性，得到若干分组的4D非局部自相似块，包括：

1).将整幅图像张量Ξ切块，所述每个图像块均与相邻图像块存在重叠边界；

2).对于每个图像块，在整幅三维医学图像张量Ξ中采用欧氏距离寻找与之最相似的K个图像块，构成一组；

3).将相似的3阶图像块堆叠起来构成一个4D非局部自相似块

4.根据权利要求1所述的基于非凸低秩张量近似的图像超分辨率重建系统，其特征在于，所述生成的超分辨率重建图像恢复模型为：

引入MCP惩罚项、3DTV正则项、辅助变量

和Φ，定义ψ为提取的4D非局部自相似图像块的操作，得到如下形式：

s.t.Ξ＝Μ_i,Φ＝G_ω(Ξ),i＝1,...,4

其中，||Y-DSX||为三维医学图像的退化模型，Y代表观测的LR图像，D是下采样算子，S是模糊算子，Ξ代表待恢复的高分辨率图像HR；

为非凸张量惩罚项，α_i为图像张量Ξ沿各模式展开的矩阵核范数系数，α_i≥0且

为4D非局部自相似块，

是MCP惩罚函数；λ₂||F||₁为加权三维TV正则项，

x_ijk为图像张量Ξ的第(i,j,k)个元素，ω_j(j＝1,2,3)是沿着Ξ第j个模式正则项的权重；G_ω(·)＝[ω₁×G_h(·)；ω₂×G_v(·)；ω₃×G_t(·)]为加权3DTV算子，G_h(·)、G_v(·)和G_t(·)分别为图像数据Ξ三个不同维度的一阶差分算子。

5.根据权利要求1所述的基于非凸低秩张量近似的图像超分辨率重建系统，其特征在于，所述反复迭代优化求解是采用ADMM算法。

6.根据权利要求1所述的基于非凸低秩张量近似的图像超分辨率重建系统，其特征在于，所述当每次图像重建后需要计算两次恢复数据的误差，从而判断图像重建的收敛性。

7.根据权利要求1所述的基于非凸低秩张量近似的图像超分辨率重建方法，其特征在于，包括以下步骤：

S1、采集原始低分辨率图像LR；

S2、输入图像预处理模块进行预处理，得到的图像张量Ξ、4D非局部自相似块；

S3、超分辨率重建图像恢复模型建立模块，依次进行处理，重建原始低分辨率图像LR的清晰图像。

8.根据权利要求7所述的基于非凸低秩张量近似的图像超分辨率重建方法，其特征在于，所述依次进行处理包括：

S31、将原始低分辨率图像LR和预处理得到的图像张量Ξ输入三维医学图像的退化模型单元；

S32、将图像张量Ξ输入加权三维TV正则项单元；

S33、将若干分组的4D非局部自相似块

输入非凸张量惩罚项单元；

S34、再拼接最终重建待恢复的高分辨率图像Ξ的清晰图像。

Images