CN107067367A

CN107067367A - 一种图像超分辨重建处理方法

Info

Publication number: CN107067367A
Application number: CN201610812100.3A
Authority: CN
Inventors: 徐梦溪; 黄陈蓉; 杨芸; 施建强
Original assignee: Nanjing Institute of Technology
Current assignee: Nanjing Institute of Technology
Priority date: 2016-09-08
Filing date: 2016-09-08
Publication date: 2017-08-18

Abstract

本发明公开了一种图像超分辨重建处理方法，在对自适应稀疏表示重建研究的基础上，由图像块子集学习得到一系列对应子字典，然后对每一重建图像块自适应选取最优子字典，从而可以进行更准确的稀疏表示建模，提高算法效果和效率。为提升稀疏表示模型的能力，引入非局部自相似性先验项，并利用双边滤波的思想对非局部自相似模型进行改进，引入像素之间空间位置距离约束，更好地保持图像边缘信息。并对非局部自相似的距离度量进行改进，减少计算量。实验证明，本发明以有效抑制噪声影响且可保持图像边缘细节，在峰值信噪比和视觉效果方面都存在一定的优越性。

Description

一种图像超分辨重建处理方法

技术领域

本发明涉及一种图像超分辨重建处理方法，属于图像处理技术领域。

背景技术

图像超分辨率重建(Super-resolution Reconstruction,SRR)是指利用一幅或者多幅低分辨率(Low-resolution,LR)图像，结合一定的先验重建出具有更多细节信息的高分辨率(High-resolution,HR)图像的过程。其可以在不改变现有成像系统的情况下，利用信号处理相关技术提高图像空间分辨率，从而有利于图像后续应用于医学、遥感、军事监测和图像压缩等多个领域。

SRR的基本概念和方法是由Harris和Goodman于20世纪60年代提出的，Tsai和Huang[8]于1984年首次提出了一种基于频域逼近的多幅图像SRR算法，自此SRR技术进入快速发展阶段。但由于频域法引入的图像先验信息有限，此后对频域法的研究不多。空域法更加灵活，且可以附加各种先验信息，得到了广泛研究并快速发展。其主要包括：非均匀插值算法(Non-uniform Interpolation,NUI)、凸集投影法(Projections onto Convex Sets,POCS)、迭代反投影法(Interactive Back Projection,IBP)、正则化方法、混合MAP-POCS法、自适应滤波方法、基于稀疏表示的方法等。

根据所依据原理的不同，空域法又可分为以下两大类：基于重建的方法和基于学习的方法。对于SRR这一病态反问题的求解，关键是如何引入更多的先验信息来对解加以约束和稳定。基于重建的方法需利用由低分辨率序列获取的信息来进行重建，但当采样率较大或者低分辨率序列帧数较少时，就无法提供足够的先验信息，这会影响图像重建质量。而基于学习的方法能够引入学习到的额外先验信息，在一幅图像的情况下就可以得到较好的重建结果。

其中基于稀疏表示的方法利用稀疏表示模型建立高低分辨率图像之间的内在关系，从而指导超分辨率重建，可以得到很好的重建效果。但是，该类算法也是有其自身缺点的。传统的基于稀疏表示的算法需要通过对大量样本的学习构建出一个过完备字典，这个过完备字典具有普遍的适用性，可以用来对各种不同的图像结构进行稀疏编码。但对于要重建的每一图像块来说，通用过完备字典并不是最优的。因为它缺少对图像局部结构的适应性，即对于图像中变化的结构不能都进行有效表示，而且它的很多原子对于某一特定图像块来说都是不相关的，这样会影响稀疏编码效率。文献[1,2]采用紧凑子字典的学习策略，针对不同子类学习对应子字典，得到重建图像块的更好的稀疏表示，提高计算效率和重建效果。

另外，在稀疏表示重建建模中，充分利用图像固有先验信息对稀疏表示系数进行正则化约束很是关键。yang等^[3,4]引入局部稀疏性先验项，从而提高了算法的边缘保持能力。文献[5]利用图像双稀疏及非局部自相似先验进行图像SRR，得到有一定优越性的实验结果。引入非局部自相似先验项来对相似图像块的稀疏表示系数间的关系进行约束，充分利用了图像结构先验信息，可以得到保持图像细节的重建结果。但其在相似性度量方面只考虑了像素灰度信息，需充分考虑图像块像素之间的关联，从而进一步提高图像块的匹配精度以得到更准确的非局部先验。

参考文献

[1]Yang S,Liu Z,Wang M,et al.Multitask dictionary learning and sparserepresentation based single-image super-resolution reconstruction[J].Neurocomputing,2011,74(17):3193-3203.

[2]Dong W,Zhang L,Shi G,et al.Image deblurring and super-resolutionby adaptive sparse domain selection and adaptive regularization[J].ImageProcessing,IEEE Transactions on,2011,20(7):1838-1857.

[3]Yang J,Wright J,Huang T,et al.Image super-resolution as sparserepresentation of raw image patches[C]//Computer Vision and PatternRecognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[4]Yang J,Wright J,Huang T S,et al.Image super-resolution via sparserepresentation[J].Image Processing,IEEE Transactions on,2010,19(11):2861-2873.

[5]Yang S,Wang M,Sun Y,et al.Compressive Sampling based Single-ImageSuper-resolution Reconstruction by dual-sparsity and Non-local SimilarityRegularizer[J].Pattern Recognition Letters,2012,33(9):1049-1059.

[6]Liu X Z,Feng G C.Kernel Bisecting k-means Clustering for SVMTraining Sample Reduction[C]//Pattern Recognition,2008.ICPR 2008.19thInternational Conference on.IEEE,2008:1-4.

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种图像超分辨重建处理方法，进行自适应稀疏表示建模，通过学习得到高分辨率训练集每一子集的对应子字典，然后对要重建的每一图像块自适应选取与其最相关的子字典，从而提高稀疏表示的效果和效率。引入非局部自相似性先验项，并利用双边滤波思想对非局部自相似正则项进行改进，在考虑像素灰度相似性的同时加入对像素空间位置距离的约束，对权重系数进行改进，以进一步保持图像的边缘信息，提高图像的重建质量。此外，为减少算法计算量，利用绝对差值和绝对差值和(Sum of Absolute Difference,SAD)来对像素结构相似性进行度量。实验证明，本发明可以有效抑制噪声影响且可保持图像边缘细节，在峰值信噪比(PeakSignal to Noise Ratio,PSNR)和视觉效果方面都存在一定的优越性。

技术方案：一种图像超分辨重建处理方法，利用自适应稀疏表示进行重建，即对于每一给定的图像块x_i自适应选取最优子字典φ_ki，所有φ_ki的集合即为高分辨率字典φ；

子字典的学习

(1)对高分辨率样本库图像进行分块处理(大小为)，并将分块中方差小的图像块筛选掉；

(2)将步骤(1)选定的图像块，当做训练集，并记为S＝[s₁,s₂,...s_M]，选用图像块的高通滤波结果作为特征进行聚类；采用K-均值聚类^[6]算法将高通滤波集S_h聚类成K类，从而S也被聚类成相应的K个子集S_k，k＝1,2,...,K；

(3)由子集S_k学习对应子字典φ_k，字典的构造可通过下式得到：

上式是关于φ_k和稀疏表示系数矩阵Λ_k＝[α₁,α₂,...,α_K]的联合优化求解问题，为提高计算效率，利用PCA方法来学习子字典φ_k，即对S_k的协方差矩阵Ω_k进行奇异值分解，得到一个正交变换矩阵P_k；依据重要性在P_k中选取前r个特征向量，由此组成字典φ_r＝[p₁,p₂,...,p_r]，则S_k关于φ_r的稀疏表示系数为那么，r的最优值可以由下式确定：

最终，由S_k学习得到子字典对每个S_k应用上述过程进行学习，那么最终就可以得到K个子字典；

子字典的自适应选择

重建过程中，对高分辨率图像x的每一图像块x_i自适应选取其最优子字典；这就要首先选定x的一个初始估计这里可选用低分辨率图像y的双三次插值结果，用表示的任一图像块，也即对应x_i的估计；利用图像块的高通滤波结果与每个子类的聚类中心μ_k的距离来进行对应子字典φ_ki的自适应选择；为避免噪声的影响，选择在μ_k的子空间中进行的子字典的确定，记U＝[μ₁,μ₂,...,μ_k]，对U的协方差矩阵进行SVD得到一变换矩阵；选用其前几个特征向量，组成投影矩阵φ_c，在φ_c的子空间中进行距离计算，则的子字典的自适应选择公式可表示如下：

由上式，得到对应的子字典φ_ki，自适应选取的φ_ki的集合就是x对应的全局稀疏字典φ，通过最小化目标方程来更新x的估计值这样，x自适应选取的字典也随之更新，一直迭代上述过程直到收敛，即为最终的重建结果x^*。

3.如权利要求1所述的图像超分辨重建处理方法，其特征在于，对于非局部自相似性的度量，利用双边滤波思想，对其加入像素空间距离约束，即在其权重部分，引入空间邻近度因子；设为x_i的任一相似块，两者的空间坐标距离表示为将图像块空间距离度量用图像块x_i与对应的中心像素点间的位置距离代替，即表示为

在计算包含空间位置信息的权重时，综合图像块灰度和空间位置距离，则改进后的权重计算公式为：

式中，分别表示灰度相似度因子和空间邻近度因子，c’_i表示总的归一化因子，具体公式定义如下：

其中，表示图像块x_i与之间的像素灰度欧氏距离，表示x_i与的中心像素之间的空间坐标欧氏距离；

在非局部自相似性算法中，用欧氏距离对两个像素邻域相似度进行衡量，但其涉及到平方运算，计算量过大。利用绝对差值和SAD替代衡量像素灰度相似性的欧氏距离，而对于空间距离的衡量已简化为中心像素点坐标欧氏距离，所以不作修改；则表达式如下：

其中n表示图像块像素数目；

非局部自相似正则项表示为：

其中，b_i表示包含所有权重系数的列向量，β_i是所有组成的列向量。

由稀疏表示公式，则上式可以表示为以下关于稀疏表示系数的正则项形式：

其中，E是单位矩阵，

3.如权利要求1所述的图像超分辨重建处理方法，其特征在于，基于自适应稀疏表示和改进的非局部正则项的SRR可表示如下：

上式从左至右依次为L2范数保真项、局部稀疏约束项以及非局部自相似正则项；

引入自适应权重参数λ_i,j，上式改写为：

其中，α_i,j是与φ_ki的第j个原子有关的系数；λ_i,j的计算方法：

式中，是α_i,j的估计，ε是一很小的常数；

当输入低分辨率图像受标准差为σ_n的高斯白噪声的污染，λ_i,j可以应用更加鲁棒的公式计算：

式中，是σ_i,j的估计值，而σ_i,j是α_i,j的标准差。

式(22)可表示为以下形式：

令则上式可表示为：

附图说明

图1为本发明实施例的方法流程图，(a)为子字典学习部分，(b)为重建部分；

图2为两组不同的高分辨率训练集，(a)为TD1，(b)为TD2；

图3为parrot图SRR结果，(a)LR，(b)原HR，(c)Bicubic，(d)ASDS-TD1，(e)ASDS-TD2，(f)ASDS-NL-TD1，(g)ASDS-NL-TD2，(h)ASDS-INL-TD1，(i)ASDS-INL-TD2；

图4为leaves图有噪情况下的SRR结果，(a)LR，(b)原HR，(c)Bicubic，(d)ASDS-TD1，(e)ASDS-TD2，(f)ASDS-NL-TD1，(g)ASDS-NL-TD2，(h)ASDS-INL-TD1，(i)ASDS-INL-TD2；

图5为无噪环境下girl图SRR结果，(a)LR，(b)Bicubic，(c)BTV，(d)ScSR，(e)ASDS-INL，(f)原HR；

图6为无噪环境下flower图SRR结果，(a)LR，(b)Bicubic，(c)BTV，(d)ScSR，(e)ASDS-INL，(f)原HR；

图7为有噪环境下cameraman图SRR结果，(a)LR，(b)Bicubic，(c)BTV，(d)ScSR，(e)ASDS-INL，(f)原HR；

图8为有噪环境下boats图SRR结果，(a)LR，(b)Bicubic，(c)BTV，(d)ScSR，(e)ASDS-INL，(f)原HR；

图9为不同算法PSNR值均值；

图10为有噪环境下book图SRR结果，(a)LR，(b)Bicubic，(c)E-ASDS-NL，(d)ASDS-NL，(e)E-ASDS-INL，(f)ASDS-INL；

图11为有噪环境下plants图SRR结果(a)LR，(b)Bicubic，(c)E-ASDS-NL，(d)ASDS-NL，(e)E-ASDS-INL，(f)ASDS-INL。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

首先，对稀疏表示重建和非局部自相似先验项进行阐述：

稀疏表示重建

单幅图像SRR是在已知单幅低分辨率图像y的情况下，重建得到高分辨率图像x，可表示为：

y＝DHx+n (1)

即y是x经过模糊算子H和下采样矩阵D的处理并叠加噪声n的结果。

SRR是一病态反问题，基于稀疏表示的SRR方法引入图像的稀疏性先验来对重建的解进行约束，即对高分辨率图像x中的图像块x_i(大小为)进行稀疏性约束，认为x_i可稀疏表示为：

式中，φ是一高分辨率字典，α_i是对应的稀疏表示系数。

而图像块x_i又可表示为：

x_i＝R_ix,i＝1,2,...,N (3)

式中R_i表示图像块提取矩阵。

x可通过重建图像块计算得到，结合上述两式可表达如下：

用α表示所有α_i的集合，则上式可简单表示成以下形式：

结合公式(1)，稀疏表示重建模型可表示如下：

求得之后，可得x的估计

非局部自相似先验

在自然图像中，通常存在着大量重复性图像结构，可以对这种非局部冗余信息加以合理利用以提高图像重建质量。非局部技术可具体表述如下：

对于任一图像块x_i，可以在整个图像x或者其足够大的搜索域I(i)内找寻到与它相似的块。设为x_i在I(i)内的一个相似块，即满足：

上式，表示图像块x_i与之间的像素灰度欧氏距离，即将图像块之间的像素灰度欧氏距离作为相似性的判据，和分别为图像块x_i和的当前估计，用用和表示图像块的像素值，t表示设置的阈值。

在I(i)中找到前L个与x_i最相似的块，则x_i的中心像素值x_i可利用相似块的中心像素值的加权均值来估计，即：

其中，表示相对于x_i的非局部权重，定义如下：

式中，h表示权重控制因子，它与图像的噪声方差成正比。c_i是归一化因子，公式表示如下：

图像中存在很多当前图像块的非局部相似结构块，要得到中心像素点值的最好估计，就是要求x_i的估计误差尽可能小。

非局部自相似是通过比较两个像素点邻域也即图像块的灰度分布来确定其相似性，也即确定权值大小。它考虑到了像素点在其图像空间中的结构特征关系，将图像的这种结构相似信息体现于对相似块像素点值的约束上。那么充分利用这种非局部自相似先验信息就能有效保持图像的边缘纹理结构信息。对于基于稀疏表示的SRR方法，通常结构相似的图像块应该编码得到相近的稀疏表示系数，但在稀疏表示编码过程中可能会出现相差较大的情况，这就会导致重建结果的不准确。所以在稀疏表示模型中引入非局部自相似先验信息很有必要，这样可以提升稀疏表示的准确性与稳定性。

一种图像超分辨重建处理方法，包括自适应稀疏表示和改进的非局部正则项的SRR两部分：

自适应稀疏表示

利用自适应稀疏表示进行重建，即对于每一给定的图像块x_i自适应选取最优子字典φ_ki，所有φ_ki的集合即为高分辨率字典φ，该方法构建的字典可以对图像的局部结构进行有效表示。

1.子字典的学习

(1)对高分辨率样本库图像进行分块处理(大小为)，根据试错法或者经验选择方差较大的图像块。实验部分设定的方差是大于16，方差值的设定没有理论公式，是根据经验或者根据试错法来选择的。

(2)设共选择M个图像块，记为S＝[s₁,s₂,...s_M]，选用图像块的高通滤波结果作为特征进行聚类。采用K-均值聚类^[6]算法将高通滤波集S_h聚类成K类，从而S也被聚类成相应的K个子集S_k，k＝1,2,...,K。

上式是关于φ_k和稀疏表示系数矩阵Λ_k＝[α₁,α₂,...,α_K]的联合优化求解问题，为提高计算效率，利用PCA方法来学习子字典φ_k，即对S_k的协方差矩阵Ω_k进行奇异值分解(Singular Value Decomposition,SVD)，得到一个正交变换矩阵P_k。λ表示正则化参数。依据重要性在P_k中选取前r个特征向量，由此组成字典φ_r＝[p₁,p₂,...,p_r]，则S_k关于φ_r的稀疏表示系数为那么，r的最优值可以由下式确定：

最终，由S_k学习得到子字典对每个S_k应用上述过程进行学习，那么最终就可以得到K个子字典。

2.子字典的自适应选择

重建过程中，对高分辨率图像x的每一图像块x_i自适应选取其最优子字典。这就要首先选定x的一个初始估计这里可选用低分辨率图像y的双三次插值结果，用表示的任一图像块，也即对应x_i的估计。利用图像块的高通滤波结果与每个子类的聚类中心μ_k的距离来进行对应子字典φ_ki的自适应选择。为避免噪声的影响，选择在μ_k的子空间中进行的子字典的确定，记U＝[μ₁,μ₂,...,μ_k]，对U的协方差矩阵进行SVD得到一变换矩阵。选用其前3-5个特征向量，组成投影矩阵φ_c，在φ_c的子空间中进行距离计算，则的子字典的自适应选择公式可表示如下：

由上式，得到对应的子字典φ_ki，自适应选取的φ_ki的集合就是x对应的全局稀疏字典φ，通过最小化目标方程(6)来更新x的估计值这样，x自适应选取的字典也随之更新，一直迭代上述过程直到收敛，即为最终的重建结果x^*。

改进的非局部正则项

在双边滤波算法中，权重系数由空间邻近度以及灰度相似度因子两部分构成，对距离较远的、灰度值相差较大的像素给予较小的权重，即减小它们对中心像素的影响。对于非局部自相似性的度量，本发明也利用双边滤波思想，对其加入像素空间距离约束，即在其权重部分，引入空间邻近度因子。因为图像信息具有一定连续性，与当前图像块x_i距离越近的图像块一般含有与x_i更多的相似结构信息，所以在考虑自相似性时给予更大的权重。设为x_i的任一相似块，两者的空间坐标距离表示为考虑到相似块对应像素点的空间距离都是相等的，为减少计算量，可以将图像块空间距离度量用图像块x_i与对应的中心像素点x_i与的位置距离代替，即表示为u(x_i)表示空间坐标。

其中，表示图像块x_i与之间的像素灰度欧氏距离，表示x_i与的中心像素之间的空间坐标欧氏距离。

在非局部自相似性算法中，用欧氏距离对两个像素邻域相似度进行衡量，但其涉及到平方运算，计算量过大。利用绝对差值和(Sum of Absolute Difference,SAD)替代衡量像素灰度相似性的欧氏距离，而对于空间距离的衡量已简化为中心像素点坐标欧氏距离，所以不作修改。则表达式如下：

其中n表示图像块像素数目，和分别为图像块x_i和的当前估计，和表示图像块的像素值。表示图像块的第j个像素。

利用SAD来进行像素灰度相似性的度量，可以很有效地反映像素灰度的差异，最重要的是计算中仅涉及加减法，相比较而言计算量减小了不少。

那么非局部自相似正则项可表示为：

其中，b_i表示包含所有权重系数的列向量，β_i是所有组成的列向量，L为图像块与x_i相似的数目。

由稀疏表示公式(5)，则上式可以表示为以下关于稀疏表示系数的正则项形式：

其中，E是单位矩阵，

算法步骤

基于自适应稀疏表示和改进的非局部正则项的SRR可表示如下：

上式从左至右依次为L2范数保真项、局部稀疏约束项以及非局部自相似正则项；D表示下采样算子，H表示模糊算子，η表示非局部自相似正则化参数。

另外，自适应加权局部稀疏项||α||₁可以对||α||₀的稀疏性进行更好的等效表示，这样有利于提高稀疏表示重建效果。引入自适应权重参数λ_i,j，上式改写为：

其中，α_i,j是与φ_ki的第j个原子有关的系数。λ_i,j的计算方法：

式中，是α_i,j的估计，ε是一很小的常数，取值范围为10^(-8)～10^(-10)。

式中，是σ_i,j的估计值，而σ_i,j是α_i,j的标准差。

式(22)可表示为以下形式：

令则上式可表示为：

下面给出重建部分的具体计算步骤，式(26)是一个加权L1范数最优化问题，选用迭代收缩算法进行求解。

1.初始化：

(1)对输入低分辨率图像y进行双三次插值得到作为高分辨图像x的初始估计；

(2)对进行分块(N块)，对其每一图像块利用式(13)选取其对应子字典φ_ki，并计算得到每一的非局部权重向量b_i，从而初始化B；

(3)初始化非局部正则参数η，设定阈值M、e以及最大迭代次数Max_iter；

(4)初始化k＝0；

2.循环迭代直至收敛或者达到最大迭代次数，即或者k≥Max_iter

(1)式

中W＝DH，V＝η²(E-B)^T(E-B)；

(2)

(3)其中soft(·,τ)是指阈值为τ的软阈值函数：soft(α,τ)＝sign(α)max{|α|-τ,0}；

(4)通过重建得到每一图像块，然后利用每一图像块由式(5)计算得到

(5)如果mod(k,M)＝0，由重新进行自适应字典的选取，即对x的稀疏域进行更新，并更新B。

上述算法中，软阈值函数的阈值τ_i,j＝λ_i,j/r，其中λ_i,j由式(23)或(24)得到，r的选择需满足r＞||(Kφ)^TKφ||₂，可以根据经验取一常数值。常整数M的设定是为了使算法每M次迭代才更新一次子字典φ_ki和非局部权重b_i，减少计算量。

实验对比分析

对本发明方法的相关性能进行实验验证，共进行三大组实验：本方法对于样本集的鲁棒性实验、本发明与其他算法在无噪以及有噪情况下的对比实验、本方法与采用原欧氏距离度量方式的算法的对比实验。实验中采用PSNR来定量表征算法重建的效果。

参数设置

实验中对训练图像进行7×7分块，且相邻图像块间重叠5个像素，这是为了更好地保持块之间的一致性。利用Var(s_i)＞16来剔除平滑块，总共从训练集选取363807个图像块，将其聚类成200个子类，分别进行学习得到对应子字典。

在SRR实验中，根据图像观测模型分别对原始高分辨率图像进行模糊和下采样操作从而得到无噪低分辨率图像。实验中采用标准差为1.6，7×7的高斯模糊核，下采样系数为3。在进行有噪情况下的实验仿真时，加入标准差为5的高斯白噪声从而得到含噪低分辨率图像。在重建时也采用7×7的图像分块，且块与块之间重叠5个像素。参数设置如下：r设定为常数值4.8，对于无噪情况下的SRR仿真，设定η＝0.3；对于有噪声情况下的SRR，设置η＝0.5。

算法对于样本集的鲁棒性实验

样本图像虽然在内容上的呈现各有不同，但其都是由各种基本结构组成的，本发明选取包含有丰富结构信息的图像块进行子字典的学习，目的就是提取出这些基本结构及其相关信息。所以学习到的子字典以及SRR的结果都对原始训练图像库并不敏感，只要选取的训练集包含有足够多的结构信息。

为验证本发明对训练集的鲁棒性，使用两组不同的高分辨率训练集进行SRR实验，图2分别是两个训练集中的图像示例。图(a)的高分辨率图像内容为风景建筑等，图(b)为人物图，但两组都同样包含有丰富的结构信息。在实验中，分别用“TD1”和“TD2”表示两个图像训练集。

将仅基于自适应稀疏表示的算法(记为ASDS)、自适应稀疏表示结合非局部正则项的算法(记为ASDS-NL)以及本发明改进算法(记为ASDS-INL)分别在TD1和TD2训练集下进行SRR实验，用双三次插值算法(Bicubic)作基本对比。算法分别记为ASDS-TD1、ASDS-TD2、ASDS-NL-TD1、ASDS-NL-TD2、ASDS-INL-TD1、ASDS-INL-TD2。图3、4分别为不同图像的上述算法的SRR结果，其中图4是在有噪情况下的重建，重建结果的PSNR值见表1。

表1不同算法重建结果的PSNR值(单位：dB)

从视觉效果上看，在两组图像SRR结果中，图(b)插值算法结果最差，整体比较模糊，在图4含噪SRR中，噪声影响严重。图(d)与(e)、(f)与(g)、(h)与(i)的重建结果无法分辨出效果好坏，且表1重建结果的PSNR值的大小与视觉效果一致，Bicubic的PSNR值最小，ASDS-TD1与ASDS-TD2、ASDS-NL-TD1与ASDS-NL-TD2、ASDS-INL-TD1与ASDS-INL-TD2算法结果的PSNR值均相差不大。也就是说ASDS相关算法在TD1和TD2训练集下重建效果差别不大，这就验证了算法对于高分辨率训练集的鲁棒性。纵向比较可以发现，(f)和(g)相比于(d)与(e)更加清晰，比如parrot图的眼睛以及周围的条纹处、leaves图的佛像处，边缘细节保持得更好，且由表1知ASDS-NL-TD1与ASDS-NL-TD2的PSNR值大于ASDS-TD1与ASDS-TD2，均说明了引入非局部正则项的有效性；而(h)和(i)又比(f)和(g)的视觉效果好，恢复了更多的图像细节，且表1中也显示ASDS-INL-TD1与ASDS-INL-TD2的相应PSNR值又比ASDS-NL-TD1与ASDS-NL-TD2的有所提高，验证了本发明改进非局部正则项的有效性。

无噪以及有噪情况下仿真

在无噪以及有噪情况下对比四种不同算法的重建结果，即双三次插值算法(Bicubic)、BTV正则化算法(记为BTV)、Yang提出的基于稀疏表示的SRR算法(记为ScSR)和本文算法(ASDS-INL)。上述已证明本发明方法在训练集TD1、TD2下的结果差别不大，在接下来的实验中选用的是TD2训练集进行字典学习。

为更全面验证本发明算法的有效性，针对无噪和有噪情况各给出两组实验结果，见图5-8及表2(其中加粗数据为下列四组结果的相应PSNR值)。

从上述两个测试图像的重建结果对比图中看出，插值方法的结果最为模糊，效果最差，基于BTV的算法结果有一定程度的提高，但是仍然较为模糊，一些细节信息得不到恢复。ScSR算法的重建结果效果较好，相比较为清晰，边缘细节得到保持，本发明ASDS-INL算法效果最好，图像最为清晰，相较于ScSR算法在一些细节信息恢复方面性能更加优异。例如图5中girl脸上的雀斑部分，图6中flower图花朵褶皱、叶子细节部分，都有更好的清晰度，尤其是图6(e)的右上角的叶子的经络也得到了恢复。表2中的相应PSNR值结果与视觉观测情况一致，Bicubic的PSNR值最小，BTV算法的PSNR值有一定提高，ScSR算法与ASDS-INL算法的PSNR值较高。其中ASDS-INL算法的PSNR值最高。

上述有噪情况下的两个测试图像的重建结果的视觉效果与表2中的相应PSNR值的结果一致，Bicubic方法结果最为模糊，噪声并没有得到有效抑制，相应的PSNR值也最小。基于BTV的算法结果有一定程度的提高，噪声得到有效抑制，但是会造成过平滑，边缘细节得不到保持，相应的PSNR值有一定的提高。ScSR算法的重建结果效果较好，噪声得到了有效抑制且边缘细节得到保持，相应PSNR值也比前面算法的高。本发明ASDS-INL算法结果图像最为清晰，相较于ScSR算法恢复了更多的细节信息，边缘得到更好的保持，如图7中cameraman图像人脸的轮廓，图8中boats图像船杆、文字都更加清晰。

表2无噪以及有噪环境下不同算法重建结果的PSNR值(单位：dB)

图9是无噪及有噪情况下不同算法的PSNR结果均值图。由图9和表2可以看出，不论是在无噪还是有噪情况下，Bicubic算法的PSNR值均最小，BTV、ScSR算法的PSNR有一定提高，ScSR算法的PSNR值一般大于BTV，也存在另外的情况(如表2中butterfly图像所得PSNR)，但ScSR算法的重建效果好于BTV算法，细节恢复明显，本发明ASDS-INL算法的PSNR值最高。

距离度量改进实验

本发明提出对自相似的灰度距离度量进行改进以在保证重建效果的同时减少计算量。接下来对两种不同距离度量方式算法进行实验对比，即传统的欧氏距离度量和本发明提出的SAD度量，其中利用欧式距离度量的算法记为E-ASDS-NL、E-ASDS-INL。

表3有噪环境下不同算法重建结果的PSNR值(单位：dB)

很显然，图10、11中均插值方法效果最差，其PSNR值也相应最小。图(e)、(f)效果优于(c)、(d)，即本文改进非局部正则项算法图像结果可以恢复更多细节，这也与之前的实验验证结果一致。可以看出，(c)和(d)二者视觉效果相差不大，(e)和(f)也难以在视觉上对其分辨好坏，且表3表明E-ASDS-NL与ASDS-NL的PSNR值接近，E-ASDS-INL与ASDS-INL的PSNR值也相差不大，也就是说本发明选用的灰度距离度量方法与欧氏距离度量方法的重建效果相差不大，保证了重建效果。在计算时间上，对于原尺寸256×256的实验图像，本发明改进度量方式的算法用时3分钟左右，比原选用欧氏度量的算法用时少20秒左右。

综上，本发明的ASDS相关算法在不同的高分辨率训练集下的重建效果相差不大，即对高分辨率样本集具有很好的鲁棒性，引入非局部正则项可以提高算法重建效果，且本文的改进非局部正则项对重建效果有一定的改善作用。在无噪和有噪情况下，本文改进算法都可以得到更好的重建视觉结果以及较高的PSNR值，图像细节得到进一步保持，在有噪情况下又可以有效抑制噪声影响，充分验证了本文算法的有效性。而且本文自相似的改进距离度量方法可以在保证SRR算法重建效果的同时减少计算量。

Claims

1.一种图像超分辨重建处理方法，其特征在于，在对自适应稀疏表示重建研究的基础上，由图像块子集学习得到一系列对应子字典，然后对每一重建图像块自适应选取最优子字典，引入非局部自相似性先验项，并利用双边滤波的思想对非局部自相似正则项进行改进，在考虑像素灰度相似性的同时加入对像素空间位置距离的约束，对权重系数进行改进，利用绝对差值和SAD来对像素结构相似性进行度量。

2.如权利要求1所述的图像超分辨重建处理方法，其特征在于，利用自适应稀疏表示进行重建，即对于每一给定的图像块x_i自适应选取最优子字典φ_ki，所有φ_ki的集合即为高分辨率字典φ；

子字典的学习

(2)经过步骤1的处理，设共有M个图像块被选中，并将这M个图像块当作训练集，记为S＝[s₁,s₂,...s_M]，选用图像块的高通滤波结果作为特征进行聚类；采用K-均值聚类^[6]算法将高通滤波集S_h聚类成K类，从而S也被聚类成相应的K个子集S_k，k＝1,2,...,K；

<mrow> <mo>(</mo> <msub> <mover> <mi>&phi;</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> <mo>,</mo> <msub> <mover> <mi>&Lambda;</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> <mo>)</mo> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mrow> <msub> <mi>&phi;</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>&Lambda;</mi> <mi>k</mi> </msub> </mrow> </munder> <mo>{</mo> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>&phi;</mi> <mi>k</mi> </msub> <msub> <mi>&Lambda;</mi> <mi>k</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>&Lambda;</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>r</mi> <mn>0</mn> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>r</mi> </munder> <mo>{</mo> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>&phi;</mi> <mi>r</mi> </msub> <msub> <mi>&Lambda;</mi> <mi>r</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>&Lambda;</mi> <mi>r</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

子字典的自适应选择

重建过程中，对高分辨率图像x的每一图像块xi自适应选取其最优子字典；这就要首先选定x的一个初始估计这里可选用低分辨率图像y的双三次插值结果，用表示的任一图像块，也即对应xi的估计；利用图像块的高通滤波结果与每个子类的聚类中心μ_k的距离来进行对应子字典φ_ki的自适应选择；为避免噪声的影响，选择在μ_k的子空间中进行的子字典的确定，记U＝[μ₁,μ₂,...,μ_k]，对U的协方差矩阵进行SVD得到一变换矩阵；选用其前几个特征向量，组成投影矩阵φ_c，在φ_c的子空间中进行距离计算，则的子字典的自适应选择公式可表示如下：

<mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>k</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>&phi;</mi> <mi>c</mi> </msub> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>i</mi> <mi>h</mi> </msubsup> <mo>-</mo> <msub> <mi>&phi;</mi> <mi>c</mi> </msub> <msub> <mi>&mu;</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow> 1

<mrow> <msubsup> <mi>b</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>&CenterDot;</mo> <msubsup> <mi>b</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>2</mn> </mrow> <mi>l</mi> </msubsup> <mo>/</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msubsup> <mi>c</mi> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>/</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>2</mn> </mrow> <mi>l</mi> </msubsup> <mo>/</mo> <msub> <mi>h</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>=</mo> <mi>S</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>v</mi> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>)</mo> <mo>,</mo> <mi>v</mi> <mo>(</mo> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>i</mi> <mi>l</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>n</mi> </munder> <mo>|</mo> <mi>v</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>v</mi> <mrow> <mo>(</mo> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>n</mi> </mrow> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo> </mrow> </mrow>

其中n表示图像块像素数目；

非局部自相似正则项表示为：

<mrow> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&Element;</mo> <mi>x</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msubsup> <mi>b</mi> <mi>i</mi> <mi>l</mi> </msubsup> <msubsup> <mi>x</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&Element;</mo> <mi>x</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>&beta;</mi> <mi>i</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>19</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>E</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo> </mrow> </mrow> 2

其中，E是单位矩阵，

4.如权利要求1所述的图像超分辨重建处理方法，其特征在于，基于自适应稀疏表示和改进的非局部正则项的SRR可表示如下：

<mrow> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>&alpha;</mi> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>D</mi> <mi>H</mi> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>&alpha;</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>+</mo> <mi>&eta;</mi> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>E</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>21</mn> <mo>)</mo> </mrow> </mrow>

引入自适应权重参数λ_i,j，上式改写为：

<mrow> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>&alpha;</mi> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>D</mi> <mi>H</mi> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>+</mo> <mi>&eta;</mi> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>E</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>22</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>23</mn> <mo>)</mo> </mrow> </mrow>

式中，是α_i,j的估计，ε是一很小的常数；

<mrow> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msqrt> <mn>2</mn> </msqrt> <msubsup> <mi>&sigma;</mi> <mi>n</mi> <mn>2</mn> </msubsup> </mrow> <mrow> <msub> <mover> <mi>&sigma;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>24</mn> <mo>)</mo> </mrow> </mrow>

式中，是σ_i,j的估计值，而σ_i,j是α_i,j的标准差。

式(22)可表示为以下形式：

<mrow> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>&alpha;</mi> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>D</mi> <mi>H</mi> </mtd> </mtr> <mtr> <mtd> <mi>&eta;</mi> <mo>(</mo> <mi>E</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>25</mn> <mo>)</mo> </mrow> </mrow>

令则上式可表示为：

<mrow> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>min</mi> </mrow> <mi>&alpha;</mi> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>-</mo> <mi>K</mi> <mi>&phi;</mi> <mi>&alpha;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>26</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow> 3