CN103617607A - 一种单幅图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种单幅图像超分辨率重建方法，基于非局部相似性和分类半耦合字典学习算法，包括训练阶段和重建阶段，该方法以半偶合字典学习算法为框架，引入基于映射误差的训练图像块稀疏域分类，并采用稀疏域分类与半耦合字典学习交替进行的启发式策略；引入稀疏域非局部相似约束项，在稀疏域挖掘训练图像块空间的结构化信息，以重建出更多高频细节；改进基于非局部约束的稀疏表示算法，使其满足半耦合字典学习算法整体框架的要求；另外，在重建阶段引入了误差补偿机制，进一步提升超分辨率重建质量。与现有技术相比，本发明提升了在重建纹理细节和消除伪边缘与锯齿两方面，同时做到了较好的效果，其主观视觉效果在现有技术中达到最优。

Description

一种单幅图像超分辨率重建方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及医学影像诊断、遥感成像及视频监控等领域。

背景技术

单幅图像超分辨率重建是数字图像处理领域的研究热点之一，在医学影像诊断、卫星遥感成像以及视频监控等领域均具有重要的应用价值。当前，基于学习的超分辨率算法成为近年来国际上超分辨率领域的研究热点之一。该方法从高、低分辨率图像块集合中联合学习得到高、低分辨率冗余字典，使得训练集中的每个图像块都能在相应的字典下进行稀疏表示。在超分辨率重建过程中，首先计算低分辨率图像块在低分辨率字典下的稀疏表示系数，再由高分辨率字典与该稀疏表示系数相乘，得到高分辨率图像块的估计。

Wang等人提出半耦合字典学习算法（Semi-coupled Dictionary Learning,SCDL），其基本思路如图1所示，令X＝[x₁,x₂,...,x_n]和Y＝[y₁,y₂,...,y_n]表示高、低分辨率图像块数据矩阵，其中{x_i,y_i}是相应的高、低分辨率图像块对，D_x和D_y表示高、低分辨率字典，S_x和S_y表示高、低分辨率图像块数据矩阵在相应字典下的稀疏表示系数矩阵。在半耦合字典学习框架下，高、低分辨率图像块的稀疏表示向量中，非零元素的位置和大小均不再假设是相等的，而是通过一个映射矩阵相联系：

S_x＝W·S_y    （1）

在l1范数正则化的稀疏表示模型的基础上，添加映射误差惩罚项，并将高、低分辨率稀疏表示问题联立，得到半耦合字典学习模型：

$\begin{array}{c}\underset{\{D_x,D_y,W,S_x,S_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+\mathrm{\γ}{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2\\ +{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2\\ s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k\end{array}---\left(2\right)$

在Wang等人提出的SCDL算法中，式（2）可以转化为三个子问题交替求解，其中l₁范数正则化的稀疏表示子问题使用了以LARS算法为基础的SPARS工具箱。该工具箱适合求解中小规模的稀疏表示问题，当训练数据规模较大时训练精度不高，且无法添加自定义的正则化项。

发明内容

为了克服现有技术存在的问题，本发明提供了针对以上不足，提出单幅图像超分辨率重建方法，基于非局部相似性和分类半耦合字典学习的超分辨率重建算法，其整体上分为训练阶段和重建阶段，训练阶段离线进行，重建阶段利用离线学习得到的多类半耦合字典和稀疏域映射矩阵进行超分辨率重建测试。以半偶合字典学习算法为框架，引入基于映射误差的训练图像块稀疏域分类，并采用稀疏域分类与半耦合字典学习交替进行的启发式策略；在原有稀疏表示问题的l1范数约束项之外，引入稀疏域非局部相似约束项，在稀疏域挖掘训练图像块空间的结构化信息，以重建出更多高频细节；改进基于非局部约束的稀疏表示算法，使其满足半耦合字典学习算法整体框架的要求；另外，在重建阶段引入了误差补偿机制，进一步提升超分辨率重建质量。

本发明提出了一种单幅图像超分辨率重建方法，基于非局部相似性和分类半耦合字典学习算法，包括训练阶段和重建阶段，该方法包括以下步骤：

步骤一、将训练图像集中的每一幅高分辨率图像

经模糊算子H、下采样算子S滤波，并添加高斯噪声v后，得到相应的低分辨率图像

再经双三次插值算子A放大为原始尺寸的低分辨率图像

得到训练数据集以用于特征提取：在

上随机采样N个

的高分辨率图像块；在

中以水平和垂直方向的一阶、二阶梯度算子为滤波器得到四幅滤波图像，所述滤波图像的相应位置采样得到低分辨率图像特征块；去除其中方差小于一定阈值的平滑图像块后，将训练信号{X,Y}初始化分类为K类，记为分类方法为K均值分类；此处的阈值为全体图像块方差的5%-10%；

步骤二、令x_i和x_j是两个数据向量，它们在半耦合字典D下的稀疏表示向量分别为s_i和s_j；上述“稀疏域非局部相似性约束”，用x_i的相似块稀疏表示系数的加权平均来估计s_i，即期望误差

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i-\underset{j\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_{\mathrm{ji}}{s}_j\left|\right|}^2={\left|\right|S-\mathrm{SB}\left|\right|}_F^2=\mathrm{Tr}\left(S(I-B){(I-B)}^T{S}^T\right)=\mathrm{Tr}\left({\mathrm{SMS}}^T\right)$

其中，Ω是与x_i前P个最相似的数据的下标集，b_ji是表示x_j与x_i相似程度的权重，h是可选择的参数，c是归一化因子；令权重矩阵B的第j行第i列元素为b_ji，即B(j,i)＝b_ji，其中Tr(·)是矩阵的迹运算，矩阵M由数据矩阵X经由权重矩阵B求得；实现稀疏域非局部相似性处理；

步骤三、将基于非局部相似性约束的半耦合字典学习模型

$\begin{array}{c}\underset{\{D_x,D_y,W,S_x,S_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2\\ +\mathrm{\γ}{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\\ s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k\end{array}---\left(3\right)$

分解为三个子问题，分别为“字典更新”、“映射矩阵更新”和“双任务稀疏分解”；

字典更新子问题表示为

$\underset{\{D_x,D_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^{2}s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k$

映射矩阵更新子问题表示为：

$\underset{W}{\min }{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+\frac{{\mathrm{\λ}}_w}{\mathrm{\γ}}{\left|\right|W\left|\right|}_F^2$

双任务稀疏分解子问题的数学模型表示为：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_y-W_{x\→y}{S}_x\left|\right|+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_x-W_{y\→x}{S}_y\left|\right|+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.$

上述矩阵联立，求解得到双任务的基于非局部相似性约束的稀疏表示问题：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|\tilde{X}-{\tilde{D}}_x{S}_x\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|\tilde{Y}-{\tilde{D}}_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.$

；

步骤四、将基于映射误差的稀疏域重分类优化问题表示为：

$\underset{c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|s_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|$

其中，c是训练信号的分类标号向量，其元素取值为1～k；

上述稀疏域重分类后，判断训练阶段的终止条件：总映射误差

是否小于一定阈值δ₁；若是，则输出各类高、低分辨率字典

各类稀疏域映射矩阵

和各类稀疏表示系数矩阵

否则，则继续在新分成的各类中进行基于非局部相似性约束的半耦合字典学习，直至满足终止条件；即，在训练阶段，采用了稀疏域分类和半耦合字典学习交替进行的启发式学习策略；

步骤五、在重建阶段，采用相同的交替启发式策略，利用非局部相似性和分类半耦合稀疏表示，并结合误差补偿机制重建图像，该步骤进一步包括以下处理：

1、输入低分辨率图像z_l，初始化高分辨率图像

为z_l的双三次插值；有重叠地在图像对应位置采样小块并提取特征，向量化后构成数据矩阵求解下式进行分类：

$\underset{c}{\arg \min }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|{\hat{s}}_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|$

2、在各类中求解式：

$\begin{array}{c}\underset{\{S_x,S_y\}}{\min }{\left|\right|\hat{X}-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2+\mathrm{\γ}{\left|\right|{\hat{S}}_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_x{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left({\hat{S}}_x{\hat{M}}_x{\hat{S}}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}$

得到各类稀疏表示系数矩阵

3、判断总映射误差

是否小于一定阈值δ₂；若否，则根据下式进行稀疏域重分类后，返回步骤2；若是，则根据以下步骤4的高分辨率图像计算公式重建高分辨率图像的各个小块：

${\hat{x}}_i=D_x^{\left(c\left(i\right)\right)}\·{\hat{s}}_{x,i}$

在相邻图像块重叠部分的像素值求平均后，得到高分辨率图像的估计

4、将

降质为低分辨率图像

计算残差图像

并把残差图像e作为步骤1的输入图像，重复步骤1-3中各步骤，得到残差图像e的超分辨率图像

进而得到最终的高分辨率图像：

$y_h={\hat{y}}_h+{\hat{y}}_{h,e}$

实现误差补偿，重建算法结束。

与现有技术相比，本发明的方法提升了在重建纹理细节和消除伪边缘与锯齿两方面，同时做到了较好的效果，其主观视觉效果在现有技术中中达到最优。

附图说明

图1为半耦合字典学习；

图2为交替启发式学习框架；

图3各算法超分辨率重建结果。

具体实施方式

下面结合附图和实施例，进一步详细说明本发明的具体实施方式。

针对半耦合字典学习超分辨率方法训练精度不高的缺点，提出了训练阶段交替启发式学习框架，如图2所示。由于自然图像中存在着各种复杂的纹理块和边缘块，使用单一字典难以得到精确的稀疏表示，因而首先将训练图像块初始化分类。在每一类中，进行半耦合字典学习，得到高、低分辨率字典和稀疏域映射矩阵；同时，利用图像块在稀疏域的非局部相似性，挖掘训练图像块空间的结构信息，以重建出更多高频细节。然后根据高、低分辨率稀疏表示系数在各类映射矩阵下的映射误差，将图像块进行重分类后，再次进行半耦合字典学习，如此循环，直到映射误差小于阈值算法终止。相对于具有特定分类规则的有人监督分类，交替启发式学习框架可以在学习过程中自适应的调整训练信号集的分类状况，在稀疏域映射误差最小目标下，使得各类训练信号更加集中，进而使得学习得到的各类字典更紧凑，稀疏表示精度更高。

在式(2)半耦合字典学习中引入非局部相似性约束项，得到基于非局部相似性约束的半耦合字典学习模型：

$\begin{array}{c}\underset{\{D_x,D_y,W,S_x,S_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2\\ +\mathrm{\γ}{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\\ s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k\end{array}---\left(3\right)$

一、训练阶段

1）训练数据获取与初始化分类

将训练图像集中的每一幅高分辨率图像经模糊算子H、下采样算子S滤波，并添加高斯噪声v后，得到相应的低分辨率图像再经双三次插值算子A放大为原始尺寸的低分辨率图像

用于特征提取。这一过程可表示为：

$z_l^r={\mathrm{SHy}}_h^r---\left(4\right)$

$y_l^r={\mathrm{Az}}_l^r---\left(5\right)$

在

上随机采样N个

的高分辨率图像块；在

的四幅滤波图像（滤波器为水平和垂直方向的一阶、二阶梯度算子）的相应位置采样得到低分辨率特征块。去除方差小于一定阈值（全体图像块方差的5%-10%）的平滑图像块后，将训练信号{X,Y}初始化分类为K类，记为

分类方法为K均值分类。

2）稀疏域非局部相似性

数据空间的分布并不均匀，例如自然图像中的小块具有一些特有的结构和模式，近期研究表明数据空间的结构化信息有助于提升稀疏表示的性能。由于稀疏分解的不稳定性，相似的数据其稀疏表示系数可能差别很大，导致重建误差较大，因此利用自然图像中的重复性结构，可有效提高稀疏表示的稳定性。令x_i和x_j是两个数据向量，它们在字典D下的稀疏表示向量分别为s_i和s_j，若在原数据域x_j是与x_i第k最相似的数据向量，那么在稀疏域s_j也应当是与s_i第k最相似的稀疏表示向量。上述“稀疏域非局部相似性约束”，用x_i的相似块稀疏表示系数的加权平均来估计s_i，即期望误差

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i-\underset{j\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_{\mathrm{ji}}{s}_j\left|\right|}^2---\left(6\right)$

越小越好。其中，Ω是与x_i前P个最相似的数据的下标集，b_ji是表示x_j与x_i相似程度的权重：

$b_{\mathrm{ji}}=\frac{1}{c_i}\·\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{h})---\left(7\right)$

其中，h是可选择的参数，c_i是归一化因子。令权重矩阵B的第j行第i列元素为b_ji，即B(j,i)＝b_ji，则式（6）可写为：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i-\underset{j\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_{\mathrm{ji}}{s}_j\left|\right|}^2={\left|\right|S-\mathrm{SB}\left|\right|}_F^2=\mathrm{Tr}\left(S(I-B){(I-B)}^T{S}^T\right)=\mathrm{Tr}\left({\mathrm{SMS}}^T\right)---\left(8\right)$

其中Tr(·)是矩阵的迹运算，矩阵M由数据矩阵X经由权重矩阵B求得。

3）非局部相似性约束的半耦合字典学习

式（3）关于三组优化变量{D_x,D_y}、{W}和{S_x,S_y}其中之一是凸优化问题，故采用文献交替优化思路，将式（3）分解为三个子问题，即对应式（9）（10）（12）,分别称之为“字典更新”、“映射矩阵更新”和“双任务稀疏分解”。

$\underset{\{D_x,D_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^{2}s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k---\left(9\right)$

式（9）字典更新子问题的两个优化变量是可分离的，因此其可分解为两个二次约束的二次规划问题（QCQP），并利用Lagrange-Dual算法分别求解。映射矩阵更新子问题可表示为：

$\underset{W}{\min }{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+\frac{{\mathrm{\λ}}_w}{\mathrm{\γ}}{\left|\right|W\left|\right|}_F^2---\left(10\right)$

注意到式（11）实际上是岭回归问题，存在解析解：

$W=S_x{S}_y^T{(S_y{S}_x^T+\frac{{\mathrm{\λ}}_x}{\mathrm{\γ}}I)}^{-1}---\left(11\right)$

其中，I是单位矩阵。

考虑到稀疏域映射矩阵W是线性的，可以采用双向学习策略，一并学习S_x与S_y之间的双向映射关系W_x→y和W_y→x，故双任务稀疏分解子问题的数学模型可表示为：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_y-W_{x\→y}{S}_x\left|\right|+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_x-W_{y\→x}{S}_y\left|\right|+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.---\left(12\right)$

为了利用Feature-Sign改进算法求解上式，将矩阵上下联立，并令：

$\tilde{X}=\left[\begin{array}{c}X\\ \sqrt{\mathrm{\γ}}\·S_y\end{array}\right],\tilde{Y}=\left[\begin{array}{c}Y\\ \sqrt{\mathrm{\γ}}\·S_x\end{array}\right],{\tilde{D}}_x=\left[\begin{array}{c}{D}_x\\ \sqrt{\mathrm{\γ}}\·W_{x\→y}\end{array}\right],{\tilde{D}}_y=\left[\begin{array}{c}{D}_y\\ \sqrt{\mathrm{\γ}}\·W_{y\→x}\end{array}\right]$

则式（12）可写成双任务的基于非局部相似性约束的稀疏表示问题：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|\tilde{X}-{\tilde{D}}_x{S}_x\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|\tilde{Y}-{\tilde{D}}_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.---\left(13\right)$

式（13）可利用Feature-Sign改进算法交替优化两个子问题，直到收敛至局部最优解。

4）基于映射误差的稀疏域重分类

把在原信号域分类改为在稀疏域进行，将会大大降低总的映射误差

使得各类中学习得到的稀疏域映射矩阵

更稳定。基于映射误差的稀疏域重分类优化问题可表示为：

$\underset{c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|s_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|---\left(14\right)$

其中，c是训练信号的分类标号向量，其元素取值为1～k。基于映射误差的稀疏域重分类，实际上是将稀疏表示系数对{s_x,i,s_y,i}（对应原信号对{x_i,y_i}）归类到使映射误差最小的映射矩阵W⁽ⁱ⁾对应的第i类中。

上述稀疏域重分类后，判断训练阶段的终止条件：总映射误差

是否小于一定阈值δ₁。若是，则输出各类高、低分辨率字典

各类稀疏域映射矩阵

和各类稀疏表示系数矩阵

否则，则继续在新分成的各类中进行基于非局部相似性约束的半耦合字典学习，直至满足终止条件。

二、重建阶段

5）超分辨率重建阶段

在超分辨率训练阶段，采用了稀疏域分类和半耦合字典学习交替进行的启发式学习策略。在重建阶段，也采用相同的交替启发式策略，利用非局部相似性和分类半耦合稀疏表示，并结合误差补偿机制重建图像，主要步骤如下：

①输入低分辨率图像z_l，初始化高分辨率图像为zl的双三次插值；有重叠地在图像对应位置采样小块并提取特征，向量化后构成数据矩阵

求解式（15）进行分类：

$\underset{c}{\arg \min }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|{\hat{s}}_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|---\left(15\right)$

②在各类中求解式（16）：

$\begin{array}{c}\underset{\{S_x,S_y\}}{\min }{\left|\right|\hat{X}-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2+\mathrm{\γ}{\left|\right|{\hat{S}}_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_x{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left({\hat{S}}_x{\hat{M}}_x{\hat{S}}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}---\left(16\right)$

得到各类稀疏表示系数矩阵

③判断总映射误差

是否小于一定阈值δ₂；若否，则根据式（17）进行稀疏域重分类后，返回第②步；若是，则根据式（18）重建高分辨率图像的各个小块：

${\hat{x}}_i=D_x^{\left(c\left(i\right)\right)}\·{\hat{s}}_{x,i}---\left(17\right)$

在相邻图像块重叠部分的像素值求平均后，得到高分辨率图像的估计

④误差补偿：将

按照式（4）降质为低分辨率图像

计算残差图像

并把残差图像e作为第①步的输入图像，重复①-③中各步骤，得到残差图像e的超分辨率图像

进而得到最终的高分辨率图像：

$y_h={\hat{y}}_h+{\hat{y}}_{h,e}---\left(18\right)$

重建算法结束。

表1各算法平均峰值信噪比（PSNR,dB）

	Bicubic	SCSR	SISR	ADSD-Reg	NCSR	本文方法
							PSNR	28.40	28.82	29.09	29.99	30.08	30.60

选择近年来一些公认较优秀的超分辨率重建算法进行对比，包括Bicubic插值，Yang等人的稀疏编码超分辨率算法(Sparse Coding Super Resolution,SCSR)，Zeyde等人的单幅图像超分辨率算法(Single Image Super Resolution,SISR)，Dong等人的自适应稀疏域选择-自适应正则化算法(Adaptive Sparse Domain Selection and Adaptive Regularization,ASDS-Reg)，以及Dong等人的非局部集中稀疏表示超分辨率算法[23](Non-locallyCentralized Sparse Representation,NCSR)。上述所有方法的训练图像换成均采用BerkeleySegmentation Data Set and Benchmarks500图像集(BSDS500)；上述所有方法的测试图像均采用Kodak Lossless True Color Image Suite图像集。实验结果如图3所示，统一条件和参数如下：下采样因子s＝3；模糊算子为大小7×7、标准差σ＝1.6的高斯模糊算子；图像块大小为5×5；相邻图像块有3个像素重叠；式(3)中各个参数取值依次为：γ＝0.5，λ_x＝λ_y＝0.1，λ_w＝0.01，α_x＝α_y＝0.2。

由图3可看出，与Bicubic插值相比，Yang等人的SCSR算法和Zeyde等人的SISR算法，重建图像具有更强的边缘锐利度，但在局部区域，如眼睛左上方的纹理处，存在明显的伪边缘和噪声。Dong等人的ASDS-Reg算法重建图像虽然显著减少了伪边缘和噪声，但丢失了过多的纹理细节，如眼睛下方的纹理的边缘过于平滑。NCSR算法与ASDS相比，重建出了更多的细节，但某些纹理依然存在锯齿效应。本文算法在重建纹理细节和消除伪边缘与锯齿两方面，同时做到了较好的效果，其主观视觉效果在以上几种方法中达到最优。

为了客观评价上述超分辨率重建算法，对柯达无损彩色图像集的24张图像分别应用各算法进行超分辨率重建，表1给出了各算法重建图像的平均峰值信噪比（PSNR,dB）。由表1可见，所提出的基于非局部相似性和半耦合字典学习的超分辨率重建算法，具有最高的峰值信噪比，即最高的超分辨率性能。

Claims (1)

1.一种单幅图像超分辨率重建方法，基于非局部相似性和分类半耦合字典学习算法，包括训练阶段和重建阶段，其特征在于，该方法包括以下步骤：

步骤一、将训练图像集中的每一幅高分辨率图像

经模糊算子H、下采样算子S滤波，并添加高斯噪声v后，得到相应的低分辨率图像

再经双三次插值算子A放大为原始尺寸的低分辨率图像得到训练数据集以用于特征提取：在

上随机采样N个

的高分辨率图像块；在

中以水平和垂直方向的一阶、二阶梯度算子为滤波器得到四幅滤波图像，所述滤波图像的相应位置采样得到低分辨率图像特征块；去除其中方差小于一定阈值的平滑图像块后，将训练信号{X,Y}初始化分类为K类，记为

分类方法为K均值分类；此处的阈值为全体图像块方差的5%-10%；

步骤二、令x_i和x_j是两个数据向量，它们在半耦合字典D下的稀疏表示向量分别为s_i和s_j；上述“稀疏域非局部相似性约束”，用x_i的相似块稀疏表示系数的加权平均来估计s_i，即期望误差

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i-\underset{j\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_{\mathrm{ji}}{s}_j\left|\right|}^2={\left|\right|S-\mathrm{SB}\left|\right|}_F^2=\mathrm{Tr}\left(S(I-B){(I-B)}^T{S}^T\right)=\mathrm{Tr}\left({\mathrm{SMS}}^T\right)$

其中，Ω是与x_i前P个最相似的数据的下标集，b_ji是表示x_j与x_i相似程度的权重，

h是可选择的参数，c_i是归一化因子；令权重矩阵B的第j行第i列元素为b_ji，即B(j,i)＝b_ji，其中Tr(·)是矩阵的迹运算，矩阵M由数据矩阵X经由权重矩阵B求得；实现稀疏域非局部相似性处理；

步骤三、将基于非局部相似性约束的半耦合字典学习模型

$\begin{array}{c}\underset{\{D_x,D_y,W,S_x,S_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2\\ +\mathrm{\γ}{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\\ s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k\end{array}---\left(3\right)$

分解为三个子问题，分别为“字典更新”、“映射矩阵更新”和“双任务稀疏分解”；

字典更新子问题表示为

$\underset{\{D_x,D_y\}}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^{2}s.t.{\left|\right|d_{x,i}\left|\right|}^2\≤1,{\left|\right|d_{y,i}\left|\right|}^2\≤1,i=\mathrm{1,2},...,k$

映射矩阵更新子问题表示为：

$\underset{W}{\min }{\left|\right|S_x-{\mathrm{WS}}_y\left|\right|}_F^2+\frac{{\mathrm{\λ}}_w}{\mathrm{\γ}}{\left|\right|W\left|\right|}_F^2$

双任务稀疏分解子问题的数学模型表示为：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|X-D_x{S}_x\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_y-W_{x\→y}{S}_x\left|\right|+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+\mathrm{\γ}\left|\right|S_x-W_{y\→x}{S}_y\left|\right|+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.$

上述矩阵联立，求解得到双任务的基于非局部相似性约束的稀疏表示问题：

$\left\{\begin{array}{c}\underset{S_x}{\min }{\left|\right|\tilde{X}-{\tilde{D}}_x{S}_x\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\α}}_x\mathrm{Tr}\left(S_x{M}_x{S}_x^T\right)\\ \underset{S_y}{\min }{\left|\right|\tilde{Y}-{\tilde{D}}_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_y{\left|\right|S_y\left|\right|}_1+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}\right.$

步骤四、将基于映射误差的稀疏域重分类优化问题表示为：

$\underset{c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|s_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|$

其中，c是训练信号的分类标号向量，其元素取值为1～斤;

上述稀疏域重分类后，判断训练阶段的终止条件：总映射误差是否小于一定阈值δ₁；若是，则输出各类高、低分辨率字典

各类稀疏域映射矩阵

和各类稀疏表示系数矩阵

否则，则继续在新分成的各类中进行基于非局部相似性约束的半耦合字典学习，直至满足终止条件；即，在训练阶段，采用了稀疏域分类和半耦合字典学习交替进行的启发式学习策略；

步骤五、在重建阶段，采用相同的交替启发式策略，利用非局部相似性和分类半耦合稀疏表示，并结合误差补偿机制重建图像，该步骤进一步包括以下处理：

（1）输入低分辨率图像z_l，初始化高分辨率图像

为z_l的双三次插值；有重叠地在图像对应位置采样小块并提取特征，向量化后构成数据矩阵

求解下式进行分类：

$\underset{c}{\arg \min }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|{\hat{s}}_{x,i}-W^{\left(c\left(i\right)\right)}{s}_{y,i}\left|\right|$

（2）在各分类中求解式：

$\begin{array}{c}\underset{\{S_x,S_y\}}{\min }{\left|\right|\hat{X}-D_x{S}_x\left|\right|}_F^2+{\left|\right|Y-D_y{S}_y\left|\right|}_F^2+{\mathrm{\λ}}_w{\left|\right|W\left|\right|}_F^2+\mathrm{\γ}{\left|\right|{\hat{S}}_x-{\mathrm{WS}}_y\left|\right|}_F^2+{\mathrm{\λ}}_x{\left|\right|S_x\left|\right|}_1+{\mathrm{\λ}}_x{\left|\right|S_y\left|\right|}_1\\ +{\mathrm{\α}}_x\mathrm{Tr}\left({\hat{S}}_x{\hat{M}}_x{\hat{S}}_x^T\right)+{\mathrm{\α}}_y\mathrm{Tr}\left(S_y{M}_y{S}_y^T\right)\end{array}$

得到各类稀疏表示系数矩阵

（3）判断总映射误差

是否小于一定阈值δ₂；若否，则根据下式进行稀疏域重分类后，返回步骤（2）；若是，则根据以下步骤（4）的高分辨率图像计算公式重建高分辨率图像的各个小块：

${\hat{x}}_i=D_x^{\left(c\left(i\right)\right)}\·{\hat{s}}_{x,i}$

在相邻图像块重叠部分的像素值求平均后，得到高分辨率图像的估计

（4）将

降质为低分辨率图像

计算残差图像

并把残差图像e作为步骤（1）的输入图像，重复步骤（1）-（3）中各步骤，得到残差图像e的超分辨率图像

进而得到最终的高分辨率图像：

$y_h={\hat{y}}_h+{\hat{y}}_{h,e}$

实现误差补偿，重建算法结束。

Images