CN103903240A - 基于多输出最小二乘支持向量回归的图像超分辨方法 - Google Patents

Abstract

本发明公开了一种基于多输出最小二乘支持向量回归的图像超分辨方法，主要解决现有图像分辨率低的问题。其实现步骤为：(1)建立HR亮度图像和LR亮度图像的样本库，并创建LR图像矩阵和HR图像矩阵；(2)根据图像矩阵创建实现3倍放大的训练集和测试集；(3)利用训练集训练多输出最小二乘支持向量回归机预测模型；(4)使用最小二乘支持向量回归预测模型估计测试集中的低分辨率图像矩阵的高分辨率亮度图像；(5)利用图像自相似性对估计的高分辨率亮度图像进行更新，得到最终的高分辨率图像。本发明不仅运行时间短，而且能够有效地提高图像分辨率，可用于改善卫星图像、高清晰电视成像质量。

Description

基于多输出最小二乘支持向量回归的图像超分辨方法

技术领域

本发明属于图像处理领域，具体的说是一种提高图像分辨率的方法，该方法可用于改善卫星图像、高清晰电视成像质量。

背景技术

自二十世纪七十年代以来，电荷耦合设备CCD与互补型金属氧化半导体CMOS图像传感器被广泛地用于采集数字图像。虽然这些传感器适于大多数的图像应用，但是现有的分辨率级别和昂贵的硬件成本都不能满足人们的需求，需要找到可以增加当前图像分辨率的方法。

一个有前途的方法是利用信号处理技术从观测到的多帧低分辨率LR图像中获得高分辨率HR图像或序列，称为图像超分辨SR重建。图像超分辨技术可以在不改变硬件条件的前提下，重建出已丢失的成像系统截止频率外的信息，得到高于成像系统分辨率的图像，以达到改善和提高图像质量的目的。

通常，图像超分辨重建方法可分为三种类型：基于插值的方法、基于重构的方法和基于实例学习的方法。基于插值的方法是最简单的图像超分辨重建方法，如双线性插值、双立方插值和Lanczos插值等，这些插值算法简单高效，但视觉效果并不理想，得到的图像较模糊；基于重构的方法采用信号处理技术，充分利用图像的先验信息有效地对超分辨重建病态问题进行解空间的约束，从而求解病态问题的稳定解，进一步实现图像超分辨重建，但该方法通常很难引入先验约束且不能保证能有稳定的收敛特性；基于实例学习的方法主要是通过学习低分辨与高分辨图像之间的映射关系，预测低分辨图像中丢失的高频细节信息，从而实现高分辨图像的重建。

目前，单帧图像超分辨重建主要采用基于实例学习的方法，根据高分辨图像重建过程中实例样本的构造方式和学习算法的不同，人们提出了不同的实例学习超分辨算法。Freeman等人在文献Freeman W T,Jones T R and Pasztor E C.“Example-basedsuper-resolution,”IEEE Computer Graphics and Application,2002,22(2):56-65.首次提出使用Markov网络建立低分辨图像和高分辨场景之间的关系模型，通过信令传播算法进行高分辨图像的最大后验估计实现超分辨重建。然而，该方法依赖于大量样本进行实例学习，因此计算复杂度较高。Ni等人在文献Karl S N,Truong Q N.“Image super-resolutionusing support vector regression,”IEEE Trans on Image Processing,2007,16(6):1596-1610.中采用支持向量回归SVR对去除中心点的低分辨率图像块和相应的初始高分辨图像块进行建模，通过建立的模型来预测最终的高分辨图像。但是，Ni等人在建立回归模型时将一个低分辨率点对应的m个高分辨率点分成m个独立的任务，使得单个高分辨率像素点作为输出，导致重建的像素点之间很难保持一致性。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于多输出最小二乘支持向量回归的图像超分辨方法，以简化计算复杂性，提高图像的分辨率。

实现本发明目的技术方案包括如下步骤：

(1)建立高分辨率亮度图像和低分辨率亮度图像的样本库：在网上随机下载t幅高分辨率图像，经下采样3倍后得到t幅低分辨率图像，将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间，提取每幅图像的亮度分量Y生成高分辨率和低分辨率亮度图像样本库；

(2)利用高分辨率和低分辨率亮度图像样本库，创建低分辨率图像矩阵

和高分辨率图像矩阵

(3)利用低分辨率图像矩阵

和高分辨率图像矩阵创建实现3倍放大的训练集和测试集：

(3a)从高分辨率图像矩阵

和低分辨率图像矩阵

中随机选取10幅图像对应的矩阵，从每个低分辨率图像矩阵L中任意选取50个行向量，在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量，将10幅图像中选取的50个行向量拼接，生成大小为500×9的低分辨率矩阵I_LR和大小为500×9的高分辨率矩阵I_HR；将低分辨率矩阵I_LR和高分辨矩阵I_HR作为一组训练集，分别用于训练回归模型时的输入和输出；

(3b)将剩余的n幅图像对应的低分辨率图像矩阵

作为测试集；

(4)训练多输出最小二乘支持向量回归机预测模型：

(4a)取训练集中的低分辨率矩阵I_LR作为输入，高分辨率矩阵I_HR作为输出，利用多输出最小二乘支持向量回归机模型训练超参数α和阈值b；

(4b)利用超参数α和阈值b得到多输出最小二乘支持向量回归预测模型；

(5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像

(5a)将测试集中的低分辨率矩阵L作为最小二乘支持向量回归机预测模型的输入，预测出高分辨率矩阵

(5b)将预测得到的高分辨率矩阵

的每个行向量排成3×3的图像块，并按照从左到右，从上到下的顺序排成高分辨率亮度图像

每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数；

(6)利用图像自相似性更新高分辨率亮度图像

以得到最终的高分辨率亮度图像

(6a)将预测出的高分辨率亮度图像

分割成5×5的图像块，对于每个以像素x_i为中心的图像块

取以像素x_i为中心的13×13区域内与图像块

相似的图像块其中图像块

的中心像素为x_j，大小为5×5；

(6b)计算图像块和它的相似图像块

的相似性权值

$w_{\mathrm{ij}}^N=\exp (-\frac{{\left|\right|R_{x_i}\tilde{X}-R_{x_j}\tilde{X}\left|\right|}_G^2}{h_n^2}),$

其中h_n是控制指数表达式衰减速度的全局滤波参数，G表示给靠近图像块中心的像素赋予较大权值的核矩阵，

表示将图像

中的第i个图像块拉成列向量的操作；

(6c)利用图像自相似性更新高分辨率亮度图像

得到最终的高分辨率亮度图像

$\hat{X}=\arg \min \left\{\underset{i\∈\tilde{X}}{\mathrm{\Σ}}{\left|\right|x_i-c_i^N\·S_i\left|\right|}_2^2\right\},$

其中，S_i表示图像块的相似像素排成的列向量，

表示由图像块

的相似像素计算得到的相似性权值构成的行向量，x_i是高分辨率亮度图像

的第i个像素；

(7)将高分辨率亮度图像

对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值，将该估计值与高分辨率亮度图像一起组成YIQ空间上的结果图像，并将该结果图像转换到RGB颜色空间，将转换结果作为最终的高分辨率图像。

本发明具有以下优点：

1）本发明利用多输出最小二乘支持向量回归机模型建立低分辨率图像块与高分辨率图像块之间的关系，减弱了超分辨图像边缘上的振铃效应。

2）本发明使用了最小二乘支持向量回归机模型，使得计算复杂性降低，提高了超分辨的效率。

3）本发明充分考虑了自然图像的非局部自相似性，进一步提高了图像的分辨率。

附图说明

图1是本发明的实现示意图；

图2是本发明在实验使用的八幅测试图像；

图3是用本发明和现有的六种超分辨方法对图像Starfish放大2倍的结果图；

图4是用本发明和现有的四种超分辨方法对图像Girl放大3倍的结果图。

具体实施方式

参照图1，本发明的具体实施方式如下。

步骤1，建立高分辨率亮度图像和低分辨率亮度图像的样本库。

在网上随机下载18幅高分辨率图像，并对这些高分辨率图像经下采样3倍后得到18幅低分辨率图像，将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间，提取每幅图像的亮度分量Y生成高分辨率亮度图像样本库和低分辨率亮度图像样本库。

步骤2，利用高分辨率亮度图像样本库和低分辨率亮度图像样本库，创建低分辨率图像矩阵

和高分辨率图像矩阵

2.1)取低分辨率图像块：将低分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块；

2.2)生成低分辨率图像矩阵：将每幅低分辨率亮度图像得到的3×3的图像块拉成行向量，由此得到18幅低分辨率图像对应的18个低分辨率图像矩阵

该低分辨率图像矩阵的行数为图像像素点数，列数为9；

2.3)取高分辨率图像块：将高分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块；

2.4)生成高分辨率图像矩阵：将每幅高分辨率亮度图像得到的3×3的图像块拉成行向量，由此得到18幅高分辨率亮度图像对应的18个高分辨率图像矩阵

该高分辨率图像矩阵的行数为低分辨率图像像素点数，列数为9。

步骤3，利用低分辨率图像矩阵

和高分辨率图像矩阵

创建实现3倍放大的训练集和测试集。

3.1)创建训练集；

从高分辨率图像矩阵

和低分辨率图像矩阵中随机选取10幅图像对应的矩阵，从每个低分辨率图像矩阵L中任意选取50个行向量，在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量，将10幅图像中选取的50个行向量拼接，生成大小为500×9的低分辨率矩阵I_LR和大小为500×9的高分辨率矩阵I_HR；将低分辨率矩阵I_LR和高分辨矩阵I_HR作为一组训练集，分别用于训练回归模型时的输入和输出；

3.2)创建测试集，即将剩余的8幅图像对应的低分辨率图像矩阵

作为测试集。

步骤4，训练多输出最小二乘支持向量回归机预测模型。

4.1)取训练集中的低分辨率矩阵I_LR作为输入，高分辨率矩阵I_HR作为输出，利用多输出最小二乘支持向量回归机模型训练超参数α和阈值b：

4.1.1)给出多输出最小二乘支持向量回归机模型的表示式：

$\underset{W,b}{\min }J(W,\mathrm{\Ξ})=\frac{1}{2}\mathrm{tracr}\left(W^{T}W\right)+\mathrm{\γ}\frac{1}{2}\mathrm{trace}\left({\mathrm{\Ξ}}^T\mathrm{\Ξ}\right)$

s.t.Y＝Z^TW+repmat(b^T,l,1)+Ξ，

其中，表示满足独立同分布的样本点集，l为样本点的数目，输入向量

输出向量

表示实数空间，

的右上角标表示该实数空间的空间维数，是输出矩阵，

是非线性映射

构成的映射矩阵，

是权系数w构成的权值矩阵，是误差ξ构成的误差矩阵，b是阈值，

是第一正则化参数，

表示正实数空间，函数trace表示矩阵的迹，repmat(b^T,l,1)表示产生l×1个b^T的复本，T表示转置，s.t.表示受约束于；

4.1.2)将多输出最小二乘支持向量回归问题中的权值矩阵写为基础矩阵

与偏差矩阵

之和，则多输出最小二乘支持向量回归机模型的表达式，可重新写为：

s.t.Y＝Z^TW+repmat(b^T,l,1)+Ξ，

其中，J(W₀,V,b)是目标值，

是第二正则化参数；

4.1.3)使用拉格朗日法求解步骤（4.1.2）中的表达式，得到拉格朗日函数L(W₀,V,b,Ξ,A)：

L(W₀,V,b,Ξ,A)＝J(W₀,V,b)-trace(A^T(Z^TW+repmat(b^T,l,1)+Ξ-Y))，

其中，

是一个包含拉格朗日乘子a的系数矩阵；

4.1.4)根据库恩塔克条件，对拉格朗日函数L(W₀,V,b,Ξ,A)求偏导，得到的线性方程组表示如下：

$\left\{\begin{array}{c}\frac{\∂L}{{\∂w}_0}0\→w_0=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{Z\α}}_i,\\ \frac{\∂L}{\∂V}=0\→V=\frac{m}{\mathrm{\λ}}\mathrm{ZA},\\ \frac{\∂L}{\∂b}=0\→A^T{1}_l=0_l,\\ \frac{\∂L}{\∂\mathrm{\Ξ}}=0\→A=\mathrm{\γ\Ξ},\\ \frac{\∂L}{\∂A}=0\→Z^{T}W+\mathrm{repmat}(b^T,l,1)+\mathrm{\Ξ}-Y=0_{l\×m},\end{array}\right.$

其中，1_l表示长度为l的全1向量，0_l×m表示大小为l×m的全零矩阵；

4.1.5)消去线性方程组中的权值矩阵W和误差矩阵Ξ，得到的线性系统表示如下：

$\left[\begin{array}{cc}{0}_{\mathrm{ml}\×m}& P^T\\ P& H\end{array}\right]\left[\begin{array}{c}b\\ \mathrm{\α}\end{array}\right]=\left[\begin{array}{c}{0}_m\\ y\end{array}\right],$

其中，0_ml×m表示大小为ml×m的全零矩阵，0_m表示长度为m的全零向量，

是由向量1_l产生的块对角阵，正定矩阵

repmat(Z^TZ,m,m)表示产生m×m个Z^TZ的复本，

表示由矩阵Z^TZ产生的块对角阵，输出矩阵

4.1.6)求解步骤（4.1.5）中线性系统的表示式，得到超参数

和阈值b；

4.2)利用超参数α和阈值b得到多输出最小二乘支持向量回归预测模型，表示如下：

其中，

表示产生

的复本。

步骤5，初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像

5.1)将测试集中的低分辨率矩阵L作为最小二乘支持向量回归机预测模型的输入，预测出高分辨率矩阵

5.2)将预测得到的高分辨率矩阵的每个行向量排成3×3的图像块，并按照从左到右，从上到下的顺序排成高分辨率亮度图像

每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数。

步骤6，利用图像自相似性更新高分辨率亮度图像

以得到最终的高分辨率亮度图像

6.1)将预测出的高分辨率亮度图像

分割成5×5的图像块，对于每个以像素x_i为中心的图像块

在以像素x_i为中心的13×13区域内，取与图像块

相似的图像块

图像块

的中心像素为x_j，大小为5×5；

6.2)计算图像块

和它的相似图像块

的相似性权值

$w_{\mathrm{ij}}^N=\exp (-\frac{{\left|\right|R_{x_i}\tilde{X}-R_{x_j}\tilde{X}\left|\right|}_G^2}{h_n^2}),$

其中h_n是控制指数表达式衰减速度的全局滤波参数，G表示给靠近图像块中心的像素赋予较大权值的核矩阵，表示将图像

中的第i个图像块

拉成列向量的操作；

(6c)利用图像自相似性更新高分辨率亮度图像得到最终的高分辨率亮度图像

$\hat{X}=\arg \min \left\{\underset{i\∈\tilde{X}}{\mathrm{\Σ}}{\left|\right|x_i-c_i^N\·S_i\left|\right|}_2^2\right\},$

其中，S_i表示图像块

的相似像素排成的列向量，

表示由图像块

的相似像素计算得到的相似性权值构成的行向量，x_i是高分辨率亮度图像

的第i个像素。

步骤7，生成最终的高分辨率图像。

将高分辨率亮度图像

对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值，将该估计值与高分辨率亮度图像

一起组成YIQ空间上的结果图像，并将该结果图像转换到RGB颜色空间，将转换结果作为最终的高分辨率图像。

本发明的优点可通过以下仿真实验进一步说明。

1.仿真条件：

在CPU为Intel(R)Core(TM)i5-3470，主频3.20GHz，内存8GHz，操作系统：WIN7，仿真平台：Matlab2013b平台上进行。

测试图像选择图2所示的8幅图像，其中，从左到右，从上到下依次命名为“Butterfly”、“Fence”、“Girl”、“Starfish”、“Foreman”、“House”、“Leaves”和“Cameraman”图像。

仿真实验中，利用本发明方法与传统的NE方法，具体参考文献“Chang,H.,Yeung,D.Y.,&Xiong,Y..Super-resolution through neighbor embedding.In CVPR2004.Proceedingsof the2004IEEE Computer Society Conference on(Vol.1,pp.I-275).IEEE.”，基于NEDI的方法，具体参考文献“Li X,Orchard M T.New edge-directed interpolation[J].IEEE Transon IP,2001,10(10):1521-1527.”，基于SAI的方法，具体参考文献“X.Zhang and X.Wu.Image interpolation by adaptive2-d autoregressive modeling and soft-decision estimation.IEEE Trans on IP,17(6):887–896,2008.”，基于SME的方法，具体参考文献“S.Mallat andG.Yu.Super-resolution with sparse mixing estimators.IEEE Trans on IP,19(11):2889–2900,2010.”，基于ScSR的方法，具体参考文献“J.Yang,J.Wright,T.Huang,and Y.Ma.Imagesuper-resolution via sparse representation.IEEE Trans on IP,19(11):2861–2873,2010.”和基于SCDL的方法，具体参考文献“Wang S,Zhang L,Liang Y,et al.Semi-coupled dictionarylearning with applications to image super-resolution and photo-sketch synthesis[C]//ComputerVision and Pattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012:2216-2223.”在测试图像上进行超分辨仿真。

实验1，验证本发明对自然图像放大2倍时有较好的性能。

选用10幅高分辨彩色图像作为训练样本，双立方降采样2倍生成低分辨彩色训练图像。

选用高分辨彩色图像Starfish，双立方降采样2倍生成低分辨彩色图像作为测试图像。以高、低分辨率彩色训练图像训练最小二乘支持向量回归模型。

利用本发明和现有的六种超分辨方法对低分辨彩色测试图像放大2倍，结果如图3所示。其中，图3（a）是原始高分辨图像；图3（b）是双立方插值的结果；图3（c）是NEDI超分辨的结果；图3（d）是SME超分辨的结果；图3（e）是SAI超分辨的结果；图3（f）是ScSR超分辨的结果；图3（g）是SCDL超分辨的结果；图3（h）是本发明超分辨的结果。图3中每幅图像中的矩形框是局部放大的结果。

从图3（c）可以看出，NEDI方法不能有效恢复图像的高频细节，生成的图像非常模糊，且振铃效应比图3（b）的结果差。图3（f）、图3（g）和图3（h）这三种方法可以有效恢复出低分辨图像丢失的高频细节，得到的结果比较清晰。图3（e）有严重的失真，图3（d）表面有许多模糊的结构，图3（h）与图3（g）均有较高的分辨率。

实验2，验证本发明对自然图像放大3倍时有较好的性能。

选用10幅高分辨彩色图像作为训练样本，双立方降采样3倍生成低分辨彩色训练图像。

选用高分辨彩色图像Girl，双立方降采样3倍生成低分辨彩色图像作为测试图像。以高、低分辨率彩色训练图像训练最小二乘支持向量回归模型。

利用本发明和现有的四种超分辨方法对低分辨彩色测试图像放大3倍，结果如图4所示。其中，图4（a）是原始高分辨图像；图4（b）是双立方插值的结果；图4（c）是NE超分辨的结果；图4（d）是ScSR超分辨的结果；图4（e）是SCDL超分辨的结果；图4（f）是本发明超分辨的结果。图4中每幅图像中的矩形框是局部放大的结果。

从图4（b）可以看出，双立方插值方法不能有效恢复图像的高频细节，生成的图像非常模糊。图4（c）比图4（b）有更多的高频细节，但图4（c）在图像的边缘区域出现明显的块效应，而且在纹理细节区域出现明显的失真。图4（d）在图像边缘处有明显的阶梯效应，并引入严重的人工痕迹。从图像Girl可以看到，本发明超分辨的结果图4（f）更接近真实图像，而NE超分辨的结果图4（c）过于模糊。与上述几种方法得到的结果相比，本发明得到的图像不仅边缘清晰，而且纹理丰富。

表1是用本发明和现有的四种超分辨方法对8幅测试图像放大2倍的客观评价。

表2是用本发明和现有的四种超分辨方法对8幅测试图像放大3倍的客观评价。

表1.用本发明和现有的四种超分辨方法对8幅测试图像放大2倍的客观评价

表2.用本发明和现有的四种超分辨方法对8幅测试图像放大3倍的客观评价

从表1和表2可以看出，本发明的PSNR和SSIM值均高于其余四种对比方法。

实验3，验证本发明运行时间短。

为了说明本发明提出的MTLS-SVR方法的快速性，对几种基于实例学习超分辨方法的运行时间进行对比。由于在实际应用中并不关心算法离线训练字典或回归模型的时间，因此这里只对比算法在线超分辨图像的时间。使用本发明和现有的四种超分辨方法对图像Girl放大2倍的运行时间作为参考，来说明本发明的快速性，结果见表3。

表3.用本发明和现有的四种超分辨方法对图像Girl放大2倍的运行时间

Method	NEDI	NE	SME	ScSR	Proposed
						Elapsed time(s)	11.27	149.76	165.55	97.98	19.65

从表3看到，本发明运行需要的时间很短，比三种基于学习的方法NE、SME和ScSR运行时间快。

Claims (6)

1.一种基于多输出最小二乘支持向量回归的图像超分辨方法，包括如下步骤：

(1)建立高分辨率亮度图像和低分辨率亮度图像的样本库：在网上随机下载t幅高分辨率图像，经下采样3倍后得到t幅低分辨率图像，将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间，提取每幅图像的亮度分量Y生成高分辨率亮度图像样本库和低分辨率亮度图像样本库；

(2)利用高分辨率亮度图像样本库和低分辨率亮度图像样本库，创建低分辨率图像矩阵和高分辨率图像矩阵

(3)利用低分辨率图像矩阵

和高分辨率图像矩阵

创建实现3倍放大的训练集和测试集：

(3a)从高分辨率图像矩阵

和低分辨率图像矩阵

中随机选取10幅图像对应的矩阵，从每个低分辨率图像矩阵L中任意选取50个行向量，在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量，将10幅图像中选取的50个行向量拼接，生成大小为500×9的低分辨率矩阵I_LR和大小为500×9的高分辨率矩阵I_HR；将低分辨率矩阵I_LR和高分辨矩阵I_HR作为一组训练集，分别用于训练回归模型时的输入和输出；

(3b)将剩余的n幅图像对应的低分辨率图像矩阵

作为测试集；

(4)训练多输出最小二乘支持向量回归机预测模型：

(4a)取训练集中的低分辨率矩阵I_LR作为输入，高分辨率矩阵I_HR作为输出，利用多输出最小二乘支持向量回归机模型训练超参数α和阈值b；

(4b)利用超参数α和阈值b得到多输出最小二乘支持向量回归预测模型；

(5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像

(5a)将测试集中的低分辨率矩阵L作为最小二乘支持向量回归机预测模型的输入，预测出高分辨率矩阵

(5b)将预测得到的高分辨率矩阵的每个行向量排成3×3的图像块，并按照从左到右，从上到下的顺序排成高分辨率亮度图像

每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数；

(6)利用图像自相似性更新高分辨率亮度图像

以得到最终的高分辨率亮度图像

(6a)将预测出的高分辨率亮度图像分割成5×5的图像块，对于每个以像素x_i为中心的图像块在以像素x_i为中心的13×13区域内，取与图像块

相似的图像块

图像块

的中心像素为x_j，大小为5×5；

(6b)计算图像块

和它的相似图像块

的相似性权值

$w_{\mathrm{ij}}^N=\exp (-\frac{{\left|\right|R_{x_i}\tilde{X}-R_{x_j}\tilde{X}\left|\right|}_G^2}{h_n^2}),$

其中h_n是控制指数表达式衰减速度的全局滤波参数，G表示给靠近图像块中心的像素赋予较大权值的核矩阵，

表示将图像

中的第i个图像块

拉成列向量的操作；

(6c)利用图像自相似性更新高分辨率亮度图像

得到最终的高分辨率亮度图像

$\hat{X}=\arg \min \left\{\underset{i\∈\tilde{X}}{\mathrm{\Σ}}{\left|\right|x_i-c_i^N\·S_i\left|\right|}_2^2\right\},$

其中，S_i表示图像块

的相似像素排成的列向量，

表示由图像块

的相似像素计算得到的相似性权值构成的行向量，x_i是高分辨率亮度图像

的第i个像素；

(7)将高分辨率亮度图像

对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值，将该估计值与高分辨率亮度图像

一起组成YIQ空间上的结果图像，并将该结果图像转换到RGB颜色空间，将转换结果作为最终的高分辨率图像。

2.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤（2）中创建低分辨率图像矩阵按如下步骤进行：

(2a)对于低分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块；

(2b)将每幅低分辨率亮度图像得到的3×3的图像块拉成行向量，由此得到t幅低分辨率图像对应的t个低分辨率图像矩阵

该低分辨率图像矩阵的行数为图像像素点数，列数为9。

3.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤（2）中创建高分辨率图像矩阵按如下步骤进行：

(2c)对于高分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块；

(2d)将每幅高分辨率亮度图像得到的3×3的图像块拉成行向量，由此得到t幅高分辨率亮度图像对应的t个高分辨率图像矩阵

该高分辨率图像矩阵的行数为低分辨率图像像素点数，列数为9。

4.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤（4a）中的多输出最小二乘支持向量回归机模型的表达式：

$\underset{W,b}{\min }J(W,\mathrm{\Ξ})=\frac{1}{2}\mathrm{tracr}\left(W^{T}W\right)+\mathrm{\γ}\frac{1}{2}\mathrm{trace}\left({\mathrm{\Ξ}}^T\mathrm{\Ξ}\right)$

s.t.Y＝Z^TW+repmat(b^T,l,1)+Ξ，

其中，

表示满足独立同分布的样本点集，l为样本点的数目，输入向量

输出向量

表示实数空间，

的右上角标表示该实数空间的空间维数，

是输出矩阵，是非线性映射构成的映射矩阵，

是权系数w构成的权值矩阵，

是误差ξ构成的误差矩阵，b是阈值，

是第一正则化参数，

表示正实数空间，函数trace表示矩阵的迹，repmat(b^T,l,1)表示产生l×1个b^T的复本，T表示转置，s.t.表示受约束于。

5.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤（4a）中超参数α和阈值b的求解过程如下：

(4a1)将多输出最小二乘支持向量回归问题中的权值矩阵

写为基础矩阵与偏差矩阵之和，则多输出最小二乘支持向量回归机模型的表达式，可重新写为：

s.t.Y＝Z^TW+repmat(b^T,l,1)+Ξ，

其中，J(W0,V,b)是目标值，

是第二正则化参数；

(4a2)利用拉格朗日法求解步骤（4a1）中的表达式，得到拉格朗日函数L(W₀,V,b,Ξ,A)：

L(W₀,V,b,Ξ,A)＝J(W₀,V,b)-trace(A^T(Z^TW+repmat(b^T,l,1)+Ξ-Y))，

其中，

是一个包含拉格朗日乘子a的系数矩阵；

(4a3)根据库恩塔克条件，对拉格朗日函数L(W₀,V,b,Ξ,A)求偏导，得到的线性方程组表示如下：

$\left\{\begin{array}{c}\frac{\∂L}{{\∂w}_0}0\→w_0=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{Z\α}}_i,\\ \frac{\∂L}{\∂V}=0\→V=\frac{m}{\mathrm{\λ}}\mathrm{ZA},\\ \frac{\∂L}{\∂b}=0\→A^T{1}_l=0_l,\\ \frac{\∂L}{\∂\mathrm{\Ξ}}=0\→A=\mathrm{\γ\Ξ},\\ \frac{\∂L}{\∂A}=0\→Z^{T}W+\mathrm{repmat}(b^T,l,1)+\mathrm{\Ξ}-Y=0_{l\×m},\end{array}\right.$

其中，1_l表示长度为l的全1向量，0_l×m表示大小为l×m的全零矩阵；

(4a4)消去线性方程组中的权值矩阵W和误差矩阵Ξ，得到的线性系统表示如下：

$\left[\begin{array}{cc}{0}_{\mathrm{ml}\×m}& P^T\\ P& H\end{array}\right]\left[\begin{array}{c}b\\ \mathrm{\α}\end{array}\right]=\left[\begin{array}{c}{0}_m\\ y\end{array}\right],$

其中，0_ml×m表示大小为ml×m的全零矩阵，0_m表示长度为m的全零向量，

是由向量1_l产生的块对角阵，正定矩阵

repmat(Z^TZ,m,m)表示产生m×m个Z^TZ的复本，表示由矩阵Z^TZ产生的块对角阵，输出矩阵

(4a5)求解步骤（4a4）中的线性系统得到超参数和阈值b。

6.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤（4b）的多输出最小二乘支持向量回归预测模型，表示如下：

其中，

表示产生1×m个

的复本。

Images