CN102436655B - 一种基于svd的超分辨率重建图像质量评价方法 - Google Patents

Abstract

一种基于SVD的超分辨率重建图像质量评价方法，先对两幅以上的LR图像进行配准以及SR重建得到SR图像，再分别对SR图像和配准后的LR图像进行计算，得到各自的灰度图、去均值图像和梯度图像，然后基于SVD计算各图像间的子评价结果，最后线性合成最终的SR图像质量评价结果SSQI，本发明基于SVD得到最终的SR图像质量评价结果，能够有效的评价SR重建图像的质量，还能够用于迭代性SR重建方法中，计算每一次迭代后重建图像质量提升了多少，从而可以有效的控制迭代次数，节约运算时间，以及用来分析某种SR算法提高原始LR图像分辨率的能力。

Description

一种基于SVD的超分辨率重建图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，具体涉及一种基于SVD的超分辨率重建图像质量评价方法。 

背景技术

超分辨率(super resolution,SR)图像重建是通过图像处理的手段利用一幅或多幅从不同角度、不同位置、不同传感器得到的低分辨率(low resolution,LR)图像重建出一幅高分辨率(high resolution,HR)图像的方法。精确的图像配准是对多幅LR图像进行SR重建的关键。对于同一组LR图像，采用不同的配准算法或不同的SR重建算法所得到的HR图像质量是不同的，因此就需要建立一种机制对此类重建图像质量进行评价。 

数字图像面临很多的降质因素，比如在获取、处理、存储、压缩、传输、重建图像等过程中都会使导致图像质量下降。人类可以通过眼睛观察这些图像而得到对它们质量的主观评价，但是这种主观评价的结果受观察者、图像类型和周围环境的影响比较大，而且需要统计大量的数据才有意义，具有耗时长、不方便、代价高的缺点。这表明设计一种与主观观察结果具有一致性的客观图像质量评价方法是很必要的。现有的客观评价方法按照是否需要理想参照图像可以分为三大类：全参考评价，半参考评价，无参考评价。 

最简单、应用最广泛的全参考评价方法有MSE(mean square error)， PSNR(peak signal‐to‐noise ratio)，二者都是基于统计降质图像和理想参照图像之间的误差而进行质量评价的，但是它们的评价结果往往与人眼观察结果不一致。现有的无参考评价方法有基于熵、基于边缘图像的，它们主要度量在图像融合中有多少输入图像的信息传递到了最终的融合图像中。 

上述评价方法都不适用于SR重建图像评价，因为SR图像重建中既没有原始的高分辨率图像又不是单纯的图像融合。常见的SR重建方法有IBP(iterative back projection)，POCS(projection onto convex sets)，MAP(maximum a posteriori)等，这些SR重建方法的基础是LR图像之间精确的亚像素级配准，即找到它们之间的变换关系。选取其中一幅LR图像作为参考图像，其余的称为输入图像，即选取第一幅LR图像y_l为参考图像，则它们之间的关系可以描述为： 

f_m(y_m)=f_l(T_my_l)+e  2≤m≤p      (1)(1) 

其中，e为误差项，p为LR图像数目，函数f代表图像灰度。配准过程即是求得输入图像与参考图像之间的变换参数，即变换矩阵T_m。配准参数的精度会直接影响SR重建图像的质量。 

采用SVD得到SR图像质量评价结果(SSQI,SVD‐based SR image quality index)，SVD能将任一实矩阵A分解为三个矩阵相乘A=USV^T，其中，U，V都是正交矩阵，分别称为左特征矩阵和右特征矩阵，S=diag(s₁,s₂,…)为对角阵，其对角线上的值称为矩阵A的奇异值，该评价方法能够有效的衡量不同的配准精度对重建图像质量的影响，也能够反映出不同的SR重建方法对图像质量的影响。 

目前还没有基于SVD的超分辨率重建图像质量评价方法。 

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于SVD的超分辨率重建图像质量评价方法，能够有效的评价SR重建图像的质量，还能够用于控制迭代次数，节约运算时间，以及用来分析某种SR算法提高原始LR图像分辨率的能力。 

为了达到上述目的，本发明采取的技术方案为： 

一种基于SVD的超分辨率重建图像质量评价方法，包括以下步骤： 

第一步，对两幅以上的LR图像进行配准以及SR重建得到SR图像； 

第二步，分别对SR图像和配准后的LR图像进行计算，得到各自的灰度图、去均值图像和梯度图像； 

第三步，基于SVD计算各图像间的子评价结果，即计算出SR图像与配准后的LR图像的灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt，以及配准后的LR图像的灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt，在计算时首先将各图像分割为8×8的图像块，先在局部范围内对图像质量进行评价，然后再综合形成一个全局的评价值，而且为了保证块与块之间的连续性，各图像块之间有3个像素的重叠区； 

第四步，将各子评价结果线性合成为最终的SR图像质量评价结果SSQI，它是采用对应图像块奇异值差别来度量它们之间的信息差别。 

所述的灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt分别从亮 度、对比度、边缘及纹理三个方面来度量LR图像和SR图像的关系，三者的定义如下： 

$I_{\mathrm{LS}}=\underset{w\∈W}{\mathrm{\Σ}}\mathrm{\η}\left(w\right)[\mathrm{\α}\left(L_1\right|w)Q(L_1,H|w)+\mathrm{\α}\left(L_2\right|w)Q(L_2,H|w)+\·\·\·+\mathrm{\α}\left(L_p\right|w)Q(L_p,H|w)]$

                                          (2) 

其中， 

$Q(L_k,H|w)=\frac{\sqrt{{\mathrm{\Σ}}_{i=1}^n{(S_{{\mathrm{iL}}_k}-S_{\mathrm{iH}})}^2}{|}_w}{\underset{1\≤k\≤p}{\max }\sqrt{{\mathrm{\Σ}}_{i=1}^n{(S_{{\mathrm{iL}}_k}-S_{\mathrm{iH}})}^2}{|}_w}$

$\mathrm{\α}\left(L_k\right|w)=\frac{\mathrm{\λ}\left(L_k\right|w)}{\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w)}$

$\mathrm{\η}\left(w\right)=\frac{\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w)}{{\mathrm{\Σ}}_{w\′\∈W}\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w^{\′})}$

$\mathrm{\λ}\left(L_k\right|w)=\frac{\max \left(S_{{\mathrm{iL}}_k}\right|w)}{\max \left(S_{{\mathrm{iL}}_k}\right|w){|}_{2^{\mathrm{nd}}}}$

L_k，k=1，2，…，p，代表LR图像，H代表SR图像，w为图像块，W为图像块的集合，Q(L_k，H|w)在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，

分别是L_k图像和H图像中对应图像块的奇异值，n为奇异值的个数，α为w内不同的LR图像对评价结果I_LS影响的权系数，η为不同的w对I_LS影响的权系数，在计算时，将原LR图像放大至与SR图像同样的大小，由于放大图像完全由原图得到，所以这样并不影响图像的质量。 

所述的灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt分别从亮 度、对比度、边缘及纹理三个方面度量了多幅LR图像间的关系： 

$I_{\mathrm{LL}}=\frac{1}{\mathrm{BLKNUM}}\underset{w\∈W}{\mathrm{\Σ}}[\mathrm{\β}(L_1,L_2|w)Q(L_1,L_2|w)+\mathrm{\β}(L_1,L_3|w)Q\left(L_1{L}_3\right|w)+\·\·\·$

$+\mathrm{\β}(L_1,L_p|w)Q(L_1,L_p|w)]$

                                             (3) 

$\mathrm{\β}(L_1,L_j|w)=\frac{(2{\mathrm{\μ}}_{L_1}{\mathrm{\μ}}_{L_j}+C_1)(2{\mathrm{\σ}}_{L_1{L}_j}+C_2)}{({\mathrm{\μ}}_{L_1}^2+{\mathrm{\μ}}_{L_j}^2+C_1)({\mathrm{\σ}}_{L_1}^2+{\mathrm{\σ}}_{L_j}^2+C_2)}{|}_w$

${\mathrm{\σ}}_{L_{1}j}=\frac{1}{N-1}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}(L_1-{\mathrm{\μ}}_{L_1})(L_k-{\mathrm{\μ}}_{L_j})$

其中，L₁为参考图像，L_jj＝2，…，p，为输入图像，β是一个可以度量两个信号之间相似性的测度，

分别是图像L₁和L_j的均值和均方差，w为图像块，W为图像块的集合，Q是在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，BLKNUM为图像所划分的图像块数目，C_l、C₂为常数。 

所述的评价结果SSQI为一个整体评价结果，依照下式来计算： 

SSQI＝0.3I_LHg+0.2I_LLg+0.1(I_LHm+I_LLm)+0.15(I_LHt+I_LLt) 

本发明基于SVD得到SR图像质量评价结果，能够有效的评价SR重建图像的质量，还能够用于迭代性SR重建方法中，计算每一次迭代后重建图像质量提升了多少，从而可以有效的控制迭代次数，节约运算时间，以及用来分析某种SR算法提高原始LR图像分辨率的能力。 

附图说明

附图为本发明各图像间的子评价的示意图。 

具体实施方式

下面结合附图对本发明做详细描述。 

一种基于SVD的超分辨率重建图像质量评价方法，包括以下步骤： 

第一步，对两幅以上的LR图像进行配准以及SR重建得到SR图像； 

第二步，分别对SR图像和配准后的LR图像进行计算，得到各自的灰度图、去均值图像和梯度图像； 

第三步，参照附图，基于SVD计算各图像间的子评价结果，即计算出SR图像与配准后的LR图像的灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt，以及配准后的LR图像的灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt，在计算时首先将各图像分割为8×8的图像块，先在局部范围内对图像质量进行评价，然后再综合形成一个全局的评价值，而且为了保证块与块之间的连续性，各图像块之间有3个像素的重叠区； 

第四步，将各子评价结果合成最终的SR图像质量评价结果SSQI，它即采用对应图像块奇异值差别来度量它们之间的信息差别。 

所述的灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt分别从亮度、对比度、边缘及纹理三个方面来度量LR图像和SR图像的关系，三者的定义如下： 

$I_{\mathrm{LS}}=\underset{w\∈W}{\mathrm{\Σ}}\mathrm{\η}\left(w\right)[\mathrm{\α}\left(L_1\right|w)Q(L_1,H|w)+\mathrm{\α}\left(L_2\right|w)Q(L_2,H|w)+\·\·\·+\mathrm{\α}\left(L_p\right|w)Q(L_p,H|w)]$

                                            (2) 

其中， 

$Q(L_k,H|w)=\frac{\sqrt{{\mathrm{\Σ}}_{i=1}^n{(S_{{\mathrm{iL}}_k}-S_{\mathrm{iH}})}^2}{|}_w}{\underset{1\≤k\≤p}{\max }\sqrt{{\mathrm{\Σ}}_{i=1}^n{(S_{{\mathrm{iL}}_k}-S_{\mathrm{iH}})}^2}{|}_w}$

$\mathrm{\α}\left(L_k\right|w)=\frac{\mathrm{\λ}\left(L_k\right|w)}{\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w)}$

$\mathrm{\η}\left(w\right)=\frac{\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w)}{{\mathrm{\Σ}}_{w\′\∈W}\underset{1\≤k\≤p}{\max }\mathrm{\λ}\left(L_k\right|w^{\′})}$

$\mathrm{\λ}\left(L_k\right|w)=\frac{\max \left(S_{{\mathrm{iL}}_k}\right|w)}{\max \left(S_{{\mathrm{iL}}_k}\right|w){|}_{2^{\mathrm{nd}}}}$

L_k，k=1，2，…，p代表LR图像，H代表SR图像，w为图像块，W为图像块的集合，Q(L_k，H|w)在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，

分别是L_k图像和H图像中对应图像块的奇异值，n为奇异值的个数，α为w内不同的LR图像对评价结果I_LS影响的权系数，η为不同的w对I_LS影响的权系数，在计算时，将原LR图像放大至与SR图像同样的大小，由于放大图像完全由原图得到，所以这样并不影响图像的质量。 

所述的灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt分别从亮度、对比度、边缘及纹理三个方面度量了多幅LR图像间的关系： 

$I_{\mathrm{LL}}=\frac{1}{\mathrm{BLKNUM}}\underset{w\∈W}{\mathrm{\Σ}}[\mathrm{\β}(L_1,L_2|w)Q(L_1,L_2|w)+\mathrm{\β}(L_1,L_3|w)Q\left(L_1{L}_3\right|w)+\·\·\·$

$+\mathrm{\β}(L_1,L_p|w)Q(L_1,L_p|w)]$

                                             (3) 

$\mathrm{\β}(L_1,L_j|w)=\frac{(2{\mathrm{\μ}}_{L_1}{\mathrm{\μ}}_{L_j}+C_1)(2{\mathrm{\σ}}_{L_1{L}_j}+C_2)}{({\mathrm{\μ}}_{L_1}^2+{\mathrm{\μ}}_{L_j}^2+C_1)({\mathrm{\σ}}_{L_1}^2+{\mathrm{\σ}}_{L_j}^2+C_2)}{|}_w$

${\mathrm{\σ}}_{L_{1}j}=\frac{1}{N-1}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}(L_1-{\mathrm{\μ}}_{L_1})(L_k-{\mathrm{\μ}}_{L_j})$

其中，L₁为参考图像，L_jj＝2，…，p为输入图像，β是一个可以度量两个信号之间相似性的测度，

分别是图像L₁和L_j的均值和均方差，w为图像块，W为图像块的集合，Q是在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，BLKNUM为图像所划分的图像块数目，C₁、C₂为常数。 

所述的评价结果SSQI为一个整体评价结果，依照下式来计算： 

SSQI＝0.3I_LHg+0.2I_LLg+0.1(I_LHm+I_LLm)+0.15(I_LHt+I_LLt) 

本发明基于SVD得到SR图像质量评价结果，能够有效的评价SR重建图像的质量，还能够用于迭代性SR重建方法中，计算每一次迭代后重建图像质量提升了多少，从而可以有效的控制迭代次数，节约运算时间，以及用来分析某种SR算法提高原始LR图像分辨率的能力。 

Claims (2)

1.一种基于SVD的超分辨率重建图像质量评价方法，其特征在于，包括以下步骤： 

第一步，对两幅以上的LR图像进行配准以及SR重建得到SR图像； 

第二步，分别对SR图像和配准后的LR图像进行计算，得到各自的灰度图、去均值图像和梯度图像； 

第三步，基于SVD计算各图像间的子评价结果，即计算出SR图像与配准后的LR图像的灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt，以及配准后的LR图像的灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt，在计算时首先将各图像分割为8×8的图像块，先在局部范围内对图像质量进行评价，然后再综合形成一个全局的评价值，而且为了保证块与块之间的连续性，各图像块之间有3个像素的重叠区； 

第四步，将各子评价结果线性合成最终的SR图像质量评价结果SSQI，它是采用对应图像块奇异值差别来度量它们之间的信息差别， 

灰度图的I_LSg、去均值图像的I_LSm和梯度图的I_LSt分别从亮度、对比度、边缘及纹理三个方面来度量LR图像和SR图像的关系，三者的定义如下： 

                                                 (2) 

其中， 

L_k，k=1，2，…，p，代表LR图像，H代表SR图像，w为图像块，W为图像块的集合，Q(L_k，H|w)在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，

分别是L_k图像和H图像中对应图像块的奇异值，n为奇异值的个数，α为w内不同的LR图像对评价结果I_LS影响的权系数，η为不同的w对I_LS影响的权系数，在计算时，将原LR图像放大至与SR图像同样的大小，由于放大图像完全由原图得到，所以这样并不影响图像的质量， 

灰度图的I_LLg、去均值图像的I_LLm和梯度图的I_LLt分别从亮度、对比度、边缘及纹理三个方面度量了多幅LR图像间的关系： 

                                  (3) 

其中，L₁为参考图像，L_j，j＝2，…，p，为输入图像，β是一个可以度量两个信号之间相似性的测度，

分别是图像L₁和L_j的均值和均方差，w为图像块，W为图像块的集合，Q是在局部图像块范围内用奇异值的差别来衡量图像间的信息差别，BLKNUM为图像所划分的图像块数目，C₁、C₂为常数。 

2.根据权利要求1所述的一种基于SVD的超分辨率重建图像质量评价方法，其特征在于：所述的评价结果SSQI为一个整体评价结果，依照下式来计算： 

SSQI＝0.3I_LHg+0.2I_LLg+0.1(I_LHm+I_LLm)+0.15(I_LHt+I_LLt)。 

Images