CN106204667A - 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法 - Google Patents

Abstract

本发明涉及一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，步骤如下：(1)训练阶段：随机抽取高分辨率图像块和低分辨率图像块，并进行预处理；使用拉普拉斯稀疏编码方法训练联合字典，得到高分辨率字典和低分辨率字典。(2)测试阶段：读取测试图像集，载入高分辨率字典和低分辨率字典，对测试图像块，重建高分辨率图像块。使用梯度下降法，找出最接近的图像；输出高分辨率图像。本发明方法可以减轻稀疏编码处理的不稳定性，从而达到更好的超分辨率重建效果。

Description

一种解决图像超分辨率重建中的相似度保留问题的稀疏编码 方法

技术领域

本发明涉及一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，属于图像处理技术领域。

背景技术

图像超分辨率是图像处理中一个非常有用的研究领域，它提供了一种解决低价成像传感器(比如手机、监视器等)固有的分辨率限制问题的方法，以便图像在高分辨率显示设备上进行展示。这种分辨率增强技术在医学成像和卫星成像领域也是非常重要的。

关于图像的统计特性的研究表明，图像块(图像特征)可以使用恰当训练的过完备字典元素稀疏线性组合进行表示。受此思想启发，稀疏编码方法用于图像超分辨率处理首先对输入的每一个低分辨率图像块进行稀疏表示，然后，用所得的稀疏表示系数生成高分辨图像块进行输出。

然而，稀疏编码采用对每个特征分别进行编码方法，由于字典的过完备性和编码过程的独立性，相似的特征可能被编码为完全不同的稀疏码，这可能造成需要编码的特征的局部信息的丢失。

发明内容

针对现有技术的不足，本发明提供了一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法；

本发明引入拉普拉斯矩阵，采用拉普拉斯稀疏编码来保留这些局部信息。由于在稀疏编码目标函数中结合了相似度保留项，该方法可以减轻稀疏编码处理的不稳定性，从而达到更好的超分辨率重建效果。

术语解释：

低分辨图像：对于在安全监控、遥感监测、军事侦察、医学成像等应用中，由于成像设备或者成像条件的限制，所采集的图像不能满足显示、判别或者后续特征提取及信息识别需要的，我们称之为低分辨率图像，这是一个相对概念。低分辨率图像块，即低分辨率图像分割所得图像块。

高分辨率图像：相对低分辨率图像而言，即可以满足上述的后续处理要求的图像。高分辨率图像块，即高分辨率图像分割所得图像块。

梯度下降法：梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单的方法之一。最速下降法采用负梯度方向为搜索方向，越接近目标值，步长越小，前进越慢。

本发明的技术方案为：

一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，包括以下步骤：

A、训练阶段

(1)随机抽取高分辨率图像块X_h和低分辨率图像块X_l，并将高分辨率图像块X_h和低分辨率图像块X_l转换到YCBCR空间；仅对高分辨率图像块X_h和低分辨率图像块X_l的亮度信息进行接下来的处理；

(2)使用拉普拉斯稀疏编码方法训练联合字典，得到高分辨率字典U_h和低分辨率字典U_l；

B、测试阶段

(3)读取测试图像集Y，载入高分辨率字典U_h和低分辨率字典U_l；

(4)对测试图像集Y中的每一个图像块y执行以下操作：

①求取图像块y的像素平均值m；

②使用正交匹配追踪算法解决式(Ⅰ)所表示的优化问题：

$v^{*}=\underset{v}{\min }\left|\right|U_{l}v-y|{|}_2^2+\mathrm{\λ}|\left|v\right|{|}_1+\mathrm{\β}tr\left({\mathrm{vLv}}^T\right)---\left(I\right)$

式(Ⅰ)中，v^*为重建系数的最优值，v为图像块y在联合字典上相应的重建系数，λ为平衡系数，0.01≤λ≤1,用于平衡稀疏性和重建误差。β为拉普拉斯项约束系数，0.01≤β≤1,L为拉普拉斯矩阵，L＝D-W，设定所有待编码特征表示为Y＝[y₁,y₂,...,y_n]，W为所有待编码特征之间的相似矩阵，W中的W_ij为向量对(y_i,y_j)之间相似度，1≤i≤n，1≤j≤n，i≠j，D为一个对角阵，其第i个元素对应与y_i相关的所有相似度之和，即tr()是指求矩阵的迹，T是指对矩阵求转置；

③通过式(Ⅱ)重建高分辨率图像块x：

x＝U_hv^* (Ⅱ)；

④将图像块(x+m)(保留平均亮度信息)放入高分辨率图像X₀中；m保留了图像块的亮度信息；(x+m)是指重建高分辨率图像块x的纹理、边缘信息和图像块的亮度信息二者合并；

(5)使用梯度下降法，通过式(Ⅲ)找出最接近高分辨率图像X₀的图像X^*：

$X^{*}=\arg \underset{X}{min}\left|\right|SHX-Y|{|}_2^2+c||X-X_0|{|}_2^2---\left(III\right)$

式(Ⅲ)中，H为模糊滤波算子，S为下采样操作算子，SHX将重建高分辨率图像块x映射到低分辨图像空间，c为误差约束系数，0.01≤c≤1，X为待优化高分辨图像估计值；

(6)输出高分辨率图像X^*。

根据本发明优选的，所述步骤(2)中，具体步骤包括：

a、分别从高低分辨率图像集抽取高分辨率图像块X_h和低分辨率图像块X_l，并将高分辨率图像块X_h和低分辨率图像块X_l按照式(Ⅳ)构成高低分辨率联合训练集X_c：

$X_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{X}_h\\ \frac{1}{\sqrt{M}}{X}_l\end{array}\right]---\left(IV\right)$

式(Ⅳ)中，N是高分辨率图像块X_h的维数(或者特征维数)；M是低分辨率图像块X_l的维数(或者特征维数)；

b、优化式(Ⅴ)，训练得到联合字典U_c：

$\underset{\{U_c,V\}}{min}\left|\right|X_c-U_{c}V|{|}_F^2+\widehat{\mathrm{\λ}}|\left|V\right|{|}_1+\widehat{\mathrm{\β}}tr\left({\mathrm{VLV}}^T\right)---\left(V\right)$

式(Ⅴ)中，U_c为联合字典，为重建误差，约束了重建高分辨率图像块与输入低分辨率图像块的匹配程度，V＝[v₁,v₂,...,v_k]，为稀疏码，1/N和1/M两个系数用于平衡两个方程。至此，上述目标函数可使用一般的稀疏编码解决方法进行求解。

c、训练得到联合字典U_c，相应的高分辨率字典U_h和低分辨率字典U_l由式(Ⅵ)变换得到：

$U_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{U}_h\\ \frac{1}{\sqrt{M}}{U}_l\end{array}\right]---\left(VI\right).$

式(Ⅴ)为拉普拉斯稀疏编码方法，目标函数(Ⅴ)的含义及符号含义如下：

设定给定信号设定码书U＝[u₁,u₂,...,u_k],稀疏编码方法旨在寻求给定信号x在码书U上的一个线性重建，即：x＝v₁u₁+v₂u₂+...+v_ku_k＝Uv，重建系数V＝[v₁,v₂,...,v_k]是稀疏的，即v中的元素只有一小部分是非零的。||v||₀表示向量v的非零元素个数。稀疏编码的数学表达式如式(Ⅶ)：

min||v||₀ subject to:x＝Uv (Ⅶ)

然而，L₀范数的最小化问题是NP-hard问题。研究表明对于多数大型线性方程欠定系统，其L₁范数的最小近似解近似为L₀范数的解。因此，近期的研究常常将稀疏编码问题规范化为最小化重建系数的L₁范数问题。此外，为处理信号的重建误差问题，稀疏编码的目标方程规范化如式(Ⅷ)：

$\underset{v}{min}\left|\right|x-Uv|{|}_F^2+\mathrm{\λ}|\left|v\right|{|}_1---\left(VIII\right)$

式(Ⅷ)中的第一项是重建误差，第二项用来控制稀疏编码系数v的稀疏性。λ为平衡系数，用于平衡稀疏性和重建误差。

稀疏编码对每个特征分别进行编码。由于字典的过完备性和充足性，相似的特征可能被编码为完全不同的稀疏码，这可能造成需要编码的特征的局部信息的丢失。为保留这些局部信息，我们引入拉普拉斯稀疏编码。

所有待编码特征表示为X＝[x₁,x₂,...,x_n]，特征之间的相似矩阵记为W，其元素W_ij为向量对(x_i,x_j)之间相似度的度量。定义阶矩阵D，D为一个对角阵，其第i个元素对应与x_i相关的所有相似度之和，即为保留待编码特征的局部性，相似特征应被编码为相似的稀疏码。也就是说，如果两个特征是相似的，他们相应的稀疏码也应该是相近的。相似的特征对所对应的稀疏码之间的距离也应该响应较小。因而我们在目标方程中引入稀疏码对之间的距离之和。该距离使用特征对之间的相似度来度量。LSc的数学表达式如式(Ⅸ)：

$\underset{v_1,...,v_n}{min}\underset{i}{\Σ}\left|\right|x_i-{\mathrm{Uv}}_i|{|}_F^2+\mathrm{\λ}\underset{i}{\Σ}|\left|v_i\right|{|}_1+\frac{\mathrm{\β}}{2}\underset{ij}{\Σ}\left|\right|v_i-v_j|{|}^2{W}_{ij}---\left(IX\right)$

定义拉普拉斯矩阵L＝D-W，式(Ⅹ)为：

$\underset{V}{min}\left|\right|X-UV|{|}_F^2+\mathrm{\λ}\underset{i}{\Σ}|\left|v_i\right|{|}_1+\mathrm{\β}tr\left({\mathrm{VLV}}^T\right)---\left(X\right)$

式(Ⅹ)中，V＝[v₁,v₂,...,v_n]。

由于字典U不是确定的或者最优的，需要同时优化字典和稀疏编码[36],[34],[8]。重新将LSc的目标函数写为式(Ⅺ)：

$\underset{U,V}{min}\left|\right|X-UV|{|}_F^2+\mathrm{\λ}\underset{i}{\Σ}|\left|v_i\right|{|}_1+\mathrm{\β}tr\left({\mathrm{VLV}}^T\right)---\left(XI\right)$

S.t||u_m||²＝1

式(Ⅺ)中，u_m为字典U的第m列。这个限制条件用于解决u_m的规格化问题。

根据本发明优选的，λ＝0.2,β＝0.4，c＝1。

本发明的有益效果为：

本发明引入拉普拉斯矩阵，采用拉普拉斯稀疏编码来保留这些局部信息。由于在稀疏编码目标函数中结合了相似度保留项，该方法可以减轻稀疏编码处理的不稳定性，从而达到更好的超分辨率重建效果。

附图说明

图1为本发明实现流程框图；

图2a为实施例抽取的高分辨率图像块示意图；

图2b为实施例抽取的低分辨率图像块示意图；

图3a为实施例训练所得高分辨率字典示意图；

图3b为实施例训练所得低分辨率字典示意图；

图4a为实施例测试输入图像示意图；

图4b为实施例所述方法超分辨重建后的图像示意图；

图4c为双三次差值超分辨重建后的图像示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，实现流程框图如图1所示，包括以下步骤：

A、训练阶段

(1)随机抽取高分辨率图像块X_h和低分辨率图像块X_l，并将高分辨率图像块X_h和低分辨率图像块X_l转换到YCBCR空间；仅对高分辨率图像块X_h和低分辨率图像块X_l的亮度信息进行接下来的处理；高分辨率图像块X_h的一部分如图2a所示，低分辨率图像块X_l的一部分如图2b所示；

(2)使用拉普拉斯稀疏编码方法训练联合字典，得到高分辨率字典U_h和低分辨率字典U_l；高分辨率字典U_h如图3a所示，低分辨率字典U_l如图3b所示；给定高低分辨率图像块对P＝{X_h,Y_l}，X_h＝{x₁,x₂,...,x_n}，是抽取所得高分辨率图像块集，Y_l＝{y₁,y₂,...,y_n}，是相应的低分辨率图像块集。我们需要训练出高分辨率图像块的字典和低分辨图像块的字典，即：高分辨率字典U_h和低分辨率字典U_l，使得高分辨率图像块的稀疏表示与相应低分辨率图像块具有相同的稀疏表示。超分辨率重建问题具有不适定性。高分辨和低分辨图像特征空间的稀疏编码问题分别为：和结合上面两个目标函数，从而使得高分辨率和低分辨率图像具有相同的稀疏表示：

$\underset{\{U_h,U_l,Z\}}{min}\frac{1}{N}\left|\right|X^h-U_{h}V|{|}_F^2+\frac{1}{M}||Y^l-U_{l}V|{|}_F^2+\mathrm{\λ}(\frac{1}{N}+\frac{1}{M})\left|\right|V|{|}_1+\mathrm{\β}(\frac{1}{N}+\frac{1}{M})tr\left({\mathrm{VLV}}^T\right)$

上式还可写作：

$X_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{X}^h\\ \frac{1}{\sqrt{M}}{X}^l\end{array}\right],U_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{U}_h\\ \frac{1}{\sqrt{M}}{U}_l\end{array}\right],\widehat{\mathrm{\λ}}=\mathrm{\λ}(\frac{1}{N}+\frac{1}{M}),\widehat{\mathrm{\β}}=\mathrm{\β}(\frac{1}{N}+\frac{1}{M});$

具体步骤包括：

a、并将高分辨率图像块X_h和低分辨率图像块X_l按照式(Ⅳ)构成高低分辨率联合训练集X_c：

$X_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{X}_h\\ \frac{1}{\sqrt{M}}{X}_l\end{array}\right]---\left(IV\right)$

式(Ⅳ)中，N是高分辨率图像块X_h的维数(或者特征维数)；M是低分辨率图像块X_l的维数(或者特征维数)；

b、优化式(Ⅴ)，训练得到联合字典U_c：

$\underset{\{U_c,V\}}{min}\left|\right|X_c-U_{c}V|{|}_F^2+\widehat{\mathrm{\λ}}|\left|V\right|{|}_1+\widehat{\mathrm{\β}}tr\left({\mathrm{VLV}}^T\right)---\left(V\right)$

式(Ⅴ)中，U_c为联合字典，为重建误差，约束了重建高分辨率图像块与输入低分辨率图像块的匹配程度，V＝[v₁,v₂,...,v_k]，为稀疏码，1/N和1/M两个系数用于平衡两个方程。至此，上述目标函数可使用一般的稀疏编码解决方法进行求解。

c、训练得到联合字典U_c，相应的高分辨率字典U_h和低分辨率字典U_l由式(Ⅵ)变换得到：

$U_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{U}_h\\ \frac{1}{\sqrt{M}}{U}_l\end{array}\right]---\left(VI\right).$

B、测试阶段

(3)读取测试图像集Y，如图4a所示，载入高分辨率字典U_h和低分辨率字典U_l；

(4)对测试图像集Y中的每一个图像块y执行以下操作：

①求取图像块y的像素平均值m；

②使用正交匹配追踪算法解决式(Ⅰ)所表示的优化问题：

$v^{*}=\underset{v}{\min }\left|\right|U_{l}v-y|{|}_2^2+\mathrm{\λ}|\left|v\right|{|}_1+\mathrm{\β}tr\left({\mathrm{vLv}}^T\right)---\left(I\right)$

式(Ⅰ)中，v^*为重建系数的最优值，v为图像块y在联合字典上相应的重建系数，λ为平衡系数，λ＝0.2,用于平衡稀疏性和重建误差。β为拉普拉斯项约束系数，β＝0.4；L为拉普拉斯矩阵，L＝D-W，设定所有待编码特征表示为Y＝[y₁,y₂,...,y_n]，W为所有待编码特征之间的相似矩阵，W中的W_ij为向量对(y_i,y_j)之间相似度，1≤i≤n，1≤j≤n，i≠j，D为一个对角阵，其第i个元素对应与y_i相关的所有相似度之和，即tr()是指求矩阵的迹，T是指对矩阵求转置；

③通过式(Ⅱ)重建高分辨率图像块x：

x＝U_hv^* (Ⅱ)；

④将图像块(x+m)(保留平均亮度信息)放入高分辨率图像X₀中；m保留了图像块的亮度信息；(x+m)是指重建高分辨率图像块x的纹理、边缘信息和图像块的亮度信息二者合并；

(5)使用梯度下降法，通过式(Ⅲ)找出最接近高分辨率图像X₀的图像X^*：

$X^{*}=\arg \underset{X}{min}\left|\right|SHX-Y|{|}_2^2+c||X-X_0|{|}_2^2---\left(III\right)$

式(Ⅲ)中，H为模糊滤波算子，S为下采样操作算子，SHX将重建高分辨率图像块x映射到低分辨图像空间，c为误差约束系数，c＝1；X为待优化高分辨图像估计值；

(6)输出高分辨率图像X^*。如图4b所示。

采用现有的双三次差值方法超分辨重建如图4a所示的测试输入图像，得到重建后的图像，如图4c所示。对比图4b及图4c，可知，图4b像素更高，图像更加清晰。

Claims (3)

1.一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，其特征在于，包括以下步骤：

A、训练阶段

(1)随机抽取高分辨率图像块X_h和低分辨率图像块X_l，并将高分辨率图像块X_h和低分辨率图像块X_l转换到YCBCR空间；

(2)使用拉普拉斯稀疏编码方法训练联合字典，得到高分辨率字典U_h和低分辨率字典U_l；

B、测试阶段

(3)读取测试图像集Y，载入高分辨率字典U_h和低分辨率字典U_l；

(4)对测试图像集Y中的每一个图像块y执行以下操作：

①求取图像块y的像素平均值m；

②使用正交匹配追踪算法解决式(Ⅰ)所表示的优化问题：

$v^{*}=\underset{v}{min}\left|\right|U_{l}v-y|{|}_2^2+\mathrm{\λ}|\left|v\right|{|}_1+\mathrm{\β}tr\left({\mathrm{vLv}}^T\right)---\left(I\right)$

式(Ⅰ)中，v^*为重建系数的最优值，v为图像块y在联合字典上相应的重建系数，λ为平衡系数，0.01≤λ≤1，β为拉普拉斯项约束系数，0.01≤β≤1，L为拉普拉斯矩阵，L＝D-W，设定所有待编码特征表示为Y＝[y₁,y₂,...,y_n]，W为所有待编码特征之间的相似矩阵，W中的W_ij为向量对(y_i,y_j)之间相似度，1≤i≤n，1≤j≤n，i≠j，D为一个对角阵，其第i个元素对应与y_i相关的所有相似度之和，即tr()是指求矩阵的迹，T是指对矩阵求转置；

③通过式(Ⅱ)重建高分辨率图像块x：

x＝U_hv^* (Ⅱ)；

④将图像块(x+m)放入高分辨率图像X₀中；(x+m)是指将重建高分辨率图像块x的纹理、边缘信息和图像块的亮度信息合并；

(5)使用梯度下降法，通过式(III)找出最接近高分辨率图像X₀的图像X^*：

$X^{*}=\arg \underset{X}{min}\left|\right|SHX-Y|{|}_2^2+c||X-X_0|{|}_2^2---\left(III\right)$

式(III)中，H为模糊滤波算子，S为下采样操作算子，SHX将重建高分辨率图像块x映射到低分辨图像空间，c为误差约束系数，0.01≤c≤1，X为待优化高分辨图像估计值；

(6)输出高分辨率图像X^*。

2.根据权利要求1所述的一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，其特征在于，所述步骤(2)中，具体步骤包括：

a、从高低分辨率图像集分别抽取出高分辨率图像块X_h和低分辨率图像块X_l，并将高分辨率图像块X_h和低分辨率图像块X_l按照式(IV)构成高低分辨率联合训练集X_c：

$X_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{X}_h\\ \frac{1}{\sqrt{M}}{X}_l\end{array}\right]---\left(IV\right)$

式(IN)中，N是高分辨率图像块X_h的维数；M是低分辨率图像块X_l的维数；

b、优化式(Ⅴ)，训练得到联合字典U_c：

$\underset{\{U_c,V\}}{min}\left|\right|X_c-U_{c}V|{|}_F^2+\widehat{\mathrm{\λ}}|\left|V\right|{|}_1+\widehat{\mathrm{\β}}tr\left({\mathrm{VLV}}^T\right)---\left(V\right)$

式(Ⅴ)中，为重建误差，约束重建高分辨率图像块与输入低分辨率图像块的匹配程度，V＝[v₁,v₂,...,v_k]，为稀疏码；

c、训练得到联合字典U_c，相应的高分辨率字典U_h和低分辨率字典U_l由式(Ⅵ)变换得到：

$U_c=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{U}_h\\ \frac{1}{\sqrt{M}}{U}_l\end{array}\right]---\left(VI\right).$

3.根据权利要求1或2所述的一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法，其特征在于，λ＝0.2，β＝0.4，c＝1。